본문 바로가기

전체 글

(664)
[데이터베이스] mongoDB 샤딩 수직 샤딩: 컬렉션 단위로 데이터를 나누어 할당. 데이터베이스별로 지정된 프라이머리 서버에만 저장됨. (똑같은 데이터가 여러 서버에 나뉘어 있음 : QPS는 분산되나, 데이터 사이즈는 분산 불가능)수평 샤딩: 하나의 컬렉션의 도큐먼트를 여러 서버에 나누어 할당 (콜렉션 총 크기가 10TB라면, 10대의 서버가 약 1TB씩 데이터를 가지고 있는 형상) HBase는 클러스터 접근 HMaster에 접근하며, 원하는 데이터노드의 정보를 받아 그 데이터 노드에 가서 클라이언트 노드와 통신하게 된다. 만약 접속 중인 data node에 원하는 데이터가 없으면 다시 HMaster(리전 서버)에게 문의한다. MongoDB에서 클라이언트는 무조건 Mongos 서버(라우팅 역할만)와만 통신한다. Config서버(repli..
Caused by: java.sql.SQLException: null, message from server: "Can't create a new thread (errno 11); if you are not out of available memory, you can consult the manual for a possible OS-dependent bug" Caused by: org.apache.commons.dbcp.SQLNestedException: Error preloading the connection pool at org.apache.commons.dbcp.BasicDataSource.createDataSource(BasicDataSource.java:1398) ~[commons-dbcp-1.4.jar:1.4] at org.apache.commons.dbcp.BasicDataSource.getConnection(BasicDataSource.java:1044) ~[commons-dbcp-1.4.jar:1.4] at b612cam.infrastructure.deprecated.datasource.DataSourceInitializer.(DataSour..
[엔지니어링] CPU와 캐시 (L1/L2/L3 캐시..) CPU 캐시 메모리는 어떤 역할을 하는가? http://it.donga.com/215/ CPU 사양을 보면 L1 캐시 / L2 캐시 등이 존재한다. 이 캐시 메모리에 따라서 CPU 성능의 우열을 판가름할 수도 있다. 캐시 메모리가 많으면 성능적으로 유리하다고 말할 수 있다. 캐시 메모리란, 속도가 빠른 장치와 느린 장치 사이에서 속도차에 따른 병목 현상을 줄이기 위한 범용 메모리를 지칭한다. CPU에서는 CPU 코어(고속)와 메모리(CPU에 비해 저속) 사이에서 속도차에 따른 병목 현상을 완화하는 역할을 한다. CPU에는 이러한 캐시 메모리가 2~3개 정도 사용된다. 이를 L1, L2, L3 캐시 메모리라 하며, 여기서 L은 'Level'을 의미한다. 이는 속도와 크기에 따라 분류한 것으로, L1 캐시는..
[데이터베이스] DB엔진 메모 https://db-engines.com/en/ranking -> DB엔진 랭킹 사이트(monthly단위로 확인 가능) 사용량은 아니고, Stackoverflow 같은 검색어 질의를 Summary한 랭킹 사람들이 많이 사용? 조회? 하는 DB 순서 랭킹 DBMS의 종류별로 확인 가능. Relational DBMS (Oracle / MySQL / Mssql / Hive / Spark SQL ...) Key-value stores (Redis / Amazon DynamoDB / Memcaches / Ehcache ...) Document stores (MongoDB / Amazon DynamoDB / Couchbase ...) Search engines (Elasticsearch / Splunk / Solr..
[ELK] 엘라스틱서치 배우기 - 검색API ElasticSearch에서의 검색은 인덱스/타입 단위로 수행됨. Document는 그 자체가 1개의 최소 데이터 단위이므로 Document 단위로 검색한다는 것은 불가능. 클러스터의 모든 인덱스는 _all 로 검색 가능. $ curl 'localhost:9200/_all/_search?q=time&pretty' ElasticSearch URI 검색 q(query)특정 필드만 검색하려면 q 매개변수에 필드명:질의어 형식으로 값을 일력한다. title 필드에서 검색어 time을 검색하는 명령 $ curl 'localhost:9200/_search?q=title:time&pretty' $ curl 'localhost:9200/_search?q=title:time%20AND%20machine&pretty' d..