본문 바로가기

데이터베이스(DA, AA, TA)

(143)
[엘라스틱서치] Elasticsearch in action 정리(2) - 데이터 검색 보호되어 있는 글입니다.
[데이터처리] 로그데이터 다루기(2) - 수집 미들웨어 Fluentd란? 보호되어 있는 글입니다.
[데이터처리] 로그 데이터 다루기 (1) - 수집 미들웨어 Fluentd 중심 보호되어 있는 글입니다.
[엘라스틱서치] Elasticsearch in action 정리(1) 엘라스틱 서치는 실시간 검색을 제공하면서 집계 기능을 제공하고, 시스템 확장에도 용이하여 로그 시스템 개발에 활용하기 적합하다. 결과에 대한 통계를 제공해서 사용자가 흥미를 느끼는 것에 대해 범위를 좁혀 갈 수 있어야 한다. 데이터 검색을 위해서는 몇가지 이슈를 다루어야 한다. 관련 검색 결과를 내놓고, 통계를 제공하고, 빠른 처리 속도가 필요하다. 이러한 경우 엘라스틱서치와 같은 검색엔진을 사용하는 것이 적합하다. 관계형 데이터베이스 위에 검색엔진을 배포해서 색인을 생성하고 SQL 질의 속도를 올릴 수 있다. 검색 기능을 추가하기 위해서 NoSQL 저장소의 데이터 색인을 만들 수 있는데, 엘라스틱서치에서 모두 사용 가능한 기능이다. 앨라스틱서치 클러스터를 색인/검색/관리 하기 위해 데이터를 JSON 형..
[빅데이터] 로그 분석/관리 기법 1장. 로그와 나무, 숲: 전체 그림로깅 시스템에 관한 배경 정보 제공. syslog/SNMP/로그데이터/저장 개념 오버뷰 2장. 로그로그 메시지가 무엇인가. 로그가 중요한 이유 3장. 로그 데이터 소스syslog 프로토콜과 SNMP, 윈도우 이벤트 로그 설명. 로그 데이터 소스 분류 4장. 로그 저장 기법로그보관/저장포맷/RDBM(Relational DataBase Management System)에 존재하는 로그 저장/하둡 사용법 5장. syslog-ng로그 수집을 위해 실제 환경에서 syslog-ng를 구현하는 방법 6장. 비밀 로깅은밀한 방식으로 로그를 수집하고자 하는 경우, 이를 가능하게 하는 많은 세부 내용 7장. 분석 목표와 계획, 준비, 검색 대상로그 데이터 분석 시작 전에, 먼저 목표를 ..