본문 바로가기

데이터베이스(DA, AA, TA)/NoSQL

(37)
[엘라스틱서치] Elasticsearch in action 정리(3) - 데이터 분석 보호되어 있는 글입니다.
[엘라스틱서치] Elasticsearch in action 정리(2) - 데이터 검색 보호되어 있는 글입니다.
[엘라스틱서치] Elasticsearch in action 정리(1) 엘라스틱 서치는 실시간 검색을 제공하면서 집계 기능을 제공하고, 시스템 확장에도 용이하여 로그 시스템 개발에 활용하기 적합하다. 결과에 대한 통계를 제공해서 사용자가 흥미를 느끼는 것에 대해 범위를 좁혀 갈 수 있어야 한다. 데이터 검색을 위해서는 몇가지 이슈를 다루어야 한다. 관련 검색 결과를 내놓고, 통계를 제공하고, 빠른 처리 속도가 필요하다. 이러한 경우 엘라스틱서치와 같은 검색엔진을 사용하는 것이 적합하다. 관계형 데이터베이스 위에 검색엔진을 배포해서 색인을 생성하고 SQL 질의 속도를 올릴 수 있다. 검색 기능을 추가하기 위해서 NoSQL 저장소의 데이터 색인을 만들 수 있는데, 엘라스틱서치에서 모두 사용 가능한 기능이다. 앨라스틱서치 클러스터를 색인/검색/관리 하기 위해 데이터를 JSON 형..
[데이터베이스] mongoDB 샤딩 수직 샤딩: 컬렉션 단위로 데이터를 나누어 할당. 데이터베이스별로 지정된 프라이머리 서버에만 저장됨. (똑같은 데이터가 여러 서버에 나뉘어 있음 : QPS는 분산되나, 데이터 사이즈는 분산 불가능)수평 샤딩: 하나의 컬렉션의 도큐먼트를 여러 서버에 나누어 할당 (콜렉션 총 크기가 10TB라면, 10대의 서버가 약 1TB씩 데이터를 가지고 있는 형상) HBase는 클러스터 접근 HMaster에 접근하며, 원하는 데이터노드의 정보를 받아 그 데이터 노드에 가서 클라이언트 노드와 통신하게 된다. 만약 접속 중인 data node에 원하는 데이터가 없으면 다시 HMaster(리전 서버)에게 문의한다. MongoDB에서 클라이언트는 무조건 Mongos 서버(라우팅 역할만)와만 통신한다. Config서버(repli..
[데이터베이스] DB엔진 메모 https://db-engines.com/en/ranking -> DB엔진 랭킹 사이트(monthly단위로 확인 가능) 사용량은 아니고, Stackoverflow 같은 검색어 질의를 Summary한 랭킹 사람들이 많이 사용? 조회? 하는 DB 순서 랭킹 DBMS의 종류별로 확인 가능. Relational DBMS (Oracle / MySQL / Mssql / Hive / Spark SQL ...) Key-value stores (Redis / Amazon DynamoDB / Memcaches / Ehcache ...) Document stores (MongoDB / Amazon DynamoDB / Couchbase ...) Search engines (Elasticsearch / Splunk / Solr..