데이터베이스(DA, AA, TA) (143) 리스트형 [대용량데이터] 대용량 처리 컨셉 오버뷰 예전에는 여러대의 장비에서 데이터 필터링/서칭 등이 필요하면, 큰 하나의 파일을 n개로 나눠서 n개의 장비에 두고, 각 장비별로 filter/grep/join 등의 작업을 수행하는 방식이였다. (데이터가 있는 장비에서 필요한 작업은 데이터있는 장비에서 수행) 이런 경우. 장비에 장애가 났을때 원상태로 복원하는데까지 시간이 오래걸릴 수 밖에 없었다. 데이터 복사, 작업을 위한 데이터 정제. (MTTR 시간 지연) 현재는 계산 노드가 데이터를 갖고있는것이 아니라 각 노드가 무슨일을 하고 있는지 일을하는데 필요한 데이터를 그때그때 fetch하는 방식이다. 따라서 장애가 나더라도 장애난 노드의 역할을 다른 노드의 위임하는 방식으로 MTTR에 대한 이슈를 해결했다. 이를 내결함성(fault-tolerance)라고.. [데이터베이스] mongoDB 샤딩 수직 샤딩: 컬렉션 단위로 데이터를 나누어 할당. 데이터베이스별로 지정된 프라이머리 서버에만 저장됨. (똑같은 데이터가 여러 서버에 나뉘어 있음 : QPS는 분산되나, 데이터 사이즈는 분산 불가능)수평 샤딩: 하나의 컬렉션의 도큐먼트를 여러 서버에 나누어 할당 (콜렉션 총 크기가 10TB라면, 10대의 서버가 약 1TB씩 데이터를 가지고 있는 형상) HBase는 클러스터 접근 HMaster에 접근하며, 원하는 데이터노드의 정보를 받아 그 데이터 노드에 가서 클라이언트 노드와 통신하게 된다. 만약 접속 중인 data node에 원하는 데이터가 없으면 다시 HMaster(리전 서버)에게 문의한다. MongoDB에서 클라이언트는 무조건 Mongos 서버(라우팅 역할만)와만 통신한다. Config서버(repli.. [데이터베이스] DB엔진 메모 https://db-engines.com/en/ranking -> DB엔진 랭킹 사이트(monthly단위로 확인 가능) 사용량은 아니고, Stackoverflow 같은 검색어 질의를 Summary한 랭킹 사람들이 많이 사용? 조회? 하는 DB 순서 랭킹 DBMS의 종류별로 확인 가능. Relational DBMS (Oracle / MySQL / Mssql / Hive / Spark SQL ...) Key-value stores (Redis / Amazon DynamoDB / Memcaches / Ehcache ...) Document stores (MongoDB / Amazon DynamoDB / Couchbase ...) Search engines (Elasticsearch / Splunk / Solr.. [ELK] 엘라스틱서치 배우기 - 검색API ElasticSearch에서의 검색은 인덱스/타입 단위로 수행됨. Document는 그 자체가 1개의 최소 데이터 단위이므로 Document 단위로 검색한다는 것은 불가능. 클러스터의 모든 인덱스는 _all 로 검색 가능. $ curl 'localhost:9200/_all/_search?q=time&pretty' ElasticSearch URI 검색 q(query)특정 필드만 검색하려면 q 매개변수에 필드명:질의어 형식으로 값을 일력한다. title 필드에서 검색어 time을 검색하는 명령 $ curl 'localhost:9200/_search?q=title:time&pretty' $ curl 'localhost:9200/_search?q=title:time%20AND%20machine&pretty' d.. [ELK] 엘라스틱서치 배우기 Elastic Search의 이용 - 위키피디아: ElasticSearch를 이용해 전문검색(Full Text Search)을 수행하고 실시간 타이핑 검색, 추천 검색어 기능 등에 활용 중.- 더가디언지: 방문객의 로그 분석을 통한 소셜 데이터를 생성해 실시간 응대와 기사에 대한 반응 분석 등에 ElasticSearch를 사용 중.- 스택오버플로우: 검색 내용과 결과를 통합해 유사한 질문과 해답을 연결하는데 ElasticSearch를 활용.- 깃허브: 1,300억 줄이 넘는 소스 코드를 검색하는데 ElasticSearch를 사용 중. http://www.elasticsearch.org/case-studies Search Engine 아키텍처 (https://www.searchtechnologies.com.. 이전 1 ··· 8 9 10 11 12 13 14 ··· 29 다음
