[빅데이터] 로그 분석/관리 기법

1장. 로그와 나무, 숲: 전체 그림

로깅 시스템에 관한 배경 정보 제공. syslog/SNMP/로그데이터/저장 개념 오버뷰

2장. 로그

로그 메시지가 무엇인가. 로그가 중요한 이유

3장. 로그 데이터 소스

syslog 프로토콜과 SNMP, 윈도우 이벤트 로그 설명. 로그 데이터 소스 분류

4장. 로그 저장 기법

로그보관/저장포맷/RDBM(Relational DataBase Management System)에 존재하는 로그 저장/하둡 사용법

5장. syslog-ng

로그 수집을 위해 실제 환경에서 syslog-ng를 구현하는 방법

6장. 비밀 로깅

은밀한 방식으로 로그를 수집하고자 하는 경우, 이를 가능하게 하는 많은 세부 내용

7장. 분석 목표와 계획, 준비, 검색 대상

로그 데이터 분석 시작 전에, 먼저 목표를 수립하고, 계획하고 작업을 간단히 할 수 있는 준비를 해야 한다. 과거에 발생한 좋지않은 사건, 미래에 발생할 좋지않은 사건, 한번도 보지 못한 사건을 포함.

8장. 간단한 분석 기법

고급 분석 기법에 들어가기 앞서, 기본 내용 오버뷰. 수동 로그 분석과 이를 가능하도록 하는 도구를 포함. 윈도우 이벤트 로그를 훨씬 쉽게 읽을수 있는 고급 도구 설명. 로그 분석 결과에 대응하는 프로세스 논의

9장. 필터링과 정규화, 상관관계

간단한 수동 로그 분석이 간과할 수 있는 문제점을 찾기 위해 상관 관계를 수행할 수 있는 기법과 도구를 소개하며, 실제 해볼 필요가 있다. 필터링/정규화/분류/상관관계와 공통적으로 찾는 패턴도 함께 설명. 상관관계 엔진 구축에 관심이 있는 개발자에게 도움이 될것. Jess와 Esper는 규칙 기반과 스트림 비간 엔진을 구축하는 방법을 설명한다.

10장. 통계적 분석

분석 수행에 통계를 사용하는 방법 설명. 빈도수 측정과 베이스라인, 기준치, 이상행위 탐지. 분석에 사용할 수 있는 기계 학습도 소개

11장. 로그 데이터 마이닝

로그 마이닝이나 로그 지식 탐색 관련 내용. 다른 유형의 로그 분석으로 무엇을 찾아야할지 알지 못할 경우다. 이는 로그 분석의 상위단계로써 로그에서 문자열이나 패턴 목록 의존을 탈피하여 다음 단계로 끌어올린다.

12장. 보고와 요약

로그 분석의 방법을 보고서로 살펴본다. 특히 로그 데이터를 위한 최상의 보고서 정의에 초점을 맞춘다.

13장. 로그 데이터 시각화

종종 로그 데이터를 시각화하면 유용하다. 시각화란 경고나 이메일, 특정 로그 분석 시스템이 내놓는 결과를 의미하지 않는다. 관심을 두고 있는 부분은 직접 그래프를 작성하거나 다른 시각화 도구 문맥에서 로그 데이터를 보는 것이다.

14장. 로깅 법칙과 실수

조직에서 흔히 저지르는 로그관련 실수를 다룬다. 일반적인 규칙과 조직이 로그를 다루는 법에 관한 종속성도 알아본다.

15장. 로그 분석과 수집 도구

로그 데이터 분석과 수집에 사용할 수 있는 오픈소스와 상용 도구를 검토한다. 독자가 일별 기반으로 로그 데이터를 관리하는 도구를 선택할때, 여러 옵션을 제공한다. 로그 분석 도구 활용에 대한 예제는 일반적인 로깅 작업과 시나리오를 검토하는 도구를 사용하는 실제 예제를 다룰때 등의 내용을 다룬다. 오늘날 조직에서 로그 분석에 필요한 도구를 검토하고 알맞은 도구를 찾는데 도움을 준다.

16장. 로그 관리 절차: 로그 검토, 대응 단계적 보고

로그 관리를 위한 로그 검토, 대응, 단계적 보고에 대한 소개를 다룬다. PCI DSS(Payment Card Industry Data Security Standard)를 통해 살펴본다. 핵심을 실제 세계에서 개념을 적용하는 방법을 설명하는데 있다. 이는 예제가 PCI 표준에 관한 내용이지만, 임의의 다른 환경에도 쉽게 적용하고 확장할 수 있다는 의미다. 오늘날 사용할 수 있는 단계와 절차를 개발할 수 있도록 한다. 추가적으로 로그 관리 표준을 해석하고 적용하는 통찰력도 가질수 있을 것이다.

17장. 로깅 시스템 공격

로깅과 로그 분석 시스템, 보안, 운영, 컴플라이언스를 위해 로그를 사용하는 로그 분석가를 대상으로한 공격을 다룬다.

18장. 프로그래머를 위한 로깅

모든 형태의 프로그래머에게 유용하다. 기본적으로 스크립트, 프로그램, 소프트웨어 시스템을 작성하는 모든이들에게 유용한 내용을 포함한다. 좋지 않은 로그 메시지는 좋지 않은 프로그래머의 결과라는 얘기도 있다. 프로그래머와 관련자에게 로그 메시지를 좀더 나은 방식으로 생성할 수 있는 방법에 관한 개념과 가이드를 제공하여 변화를 촉구하는데 목적이 있다. 궁극적으로 디버깅과 정보 수집, 파싱 가능성, 소프트웨어가 생성하는 로그 메시지의 전반적인 유용성을 증대시키려 한다.

19장. 로그와 컴플라이언스

법규와 정책에 관련된 로깅과 컴플라이언스 내용이다.

20장. 로그 분석 시스템 계획

로그 분석 시스템 구현에 대해 계획할 때 실용적인 가이드를 제공한다. 특정 로그 분석 시스템을 설치하는 방법에 대한 세부 청사진을 의미하지는 않는다. 대신 스스로 찾아야 하는 로그 분석 구현 상황에서 개념을 잘 적용할 수 있도록 설명한다. 로그 분석 시스템을 구현하는 동안 고려할 사항과 파악해야할 질의 내용을 알려준다.

21장. 클라우드 로깅

IT 관리자는 로그 데이터 수집과 집중화/보관/보안정보/이벤트관리를 비롯해 하드웨어, 스위치, 랙, 소프트웨어 등에 대한 경비 지출하는 금액이 훨씬 감소하고 있다. 이 장은 클라우드 컴퓨팅과 로깅을 소개하고, 클라우드 환경, 클라우드에서 대용량 데이터, 클라우드에서 SIEM, 찬반 내용, 일부 주요 클라우드 로깅 제공자 목록에 관한 법규와 보안 이슈사항도 다룬다.

22장. 로그 표준과 미래 동향

로그 표준의 미래와 로깅, 로그 분석의 미래에 대한 전문가 견해를 다룬다.