본문 바로가기

데이터베이스(DA, AA, TA)

(141)
[대용량DB] 대용량 DBMS 개선사례 http://channy.creation.net/project/dev.kthcorp.com/2011/06/24/mysql-mass-data-dbms-tuning-case-study-on-statistics-and-analysis-server/ http://blog.naver.com/jjusik2/165894833 http://egloos.zum.com/dryang/v/3440561 http://www.dator.co.kr/encore/textyle/205656
[MySQL] 분산을 고려한 MySQL 운용(스케일아웃 전략) 1. 인덱스를 올바르게 운용하기 (분산을 고려한 MySQL 운용의 대전제) 분산은 고려한 MySQL 운용, 세가지 포인트OS 캐시 활용인덱스의 중요성 - B트리인덱스의 효과인덱스가 작용하는지 확인하는 법 - explain 명령 2. MySQL의 분산 (확장을 전제로 한 시스템 설계) MySQL의 레플리케이션 기능마스터/슬레이브의 특징 3. MySQL의 스케일아웃과 파티셔닝 MySQL의 스케일아웃 전략파티셔닝(테이블 분할)에 관한 보충파티셔닝을 전제로 한 설계JOIN 배제 - where ... in ... 이용파티셔닝의 상반 관계
[MySQL] 적절한 스토리지엔진 선택 RDBMS(Relational Database Management System)는 표 형식으로 데이터를 저장하고 대부분은 SQL 언어로 데이터 조작을 수행하는 시스템입니다. 다양한 데이터를 저장한다거나 강력한 질의를 할 수 있어서 가장 범용성이 높은 스토리지입니다. RDBMS의 오픈소스 구현은 MySQL이나 PostgreSQL 등이 있으며, 두 다 실제 운용환경에서 널리 사용되고 있습니다. 많은 기업에서 MySQL을 범용 스토리지로 사용하고 있습니다. RDMBS 종류마다 각기 특성이 있는데, 최근에는 기능적, 성능적으로 팽팽하게 경쟁하고 있으니, 지금까지 축적된 노하우 등을 기준으로 선택하면 됩니다. MySQL 주요 스토리지 엔진에는 MyISAM과 InnoDB, Maria가 있습니다. MyISAMMyIS..
[빅데이터] 빅데이터 이해하기 빅데이터란 말을 직역하면 대용량 자료이지만, 비즈니스에서의 빅데이터는 대용량 자료를 의미하지는 않습니다. 빅데이터란, 조직의 내외부에 존재하는 다양한 형태의 데이터를 수집, 처리, 저장하여 목적에 맞게 분석함으로써 해당분야의 필요지식을 추출하고, 전략적 의사결정에 활용하거나, 비즈니스 모델, 또는 서비스 모델의 개발 및 개선, 수행에 이용하는 제반 행위를 포괄적으로 일컫습니다. 어떤 데이터로부터 그 데이터를 추출해서 저장하고 그걸 분석해서 활용하는 일련의 과정 전체를 빅데이터라고 정의하는 것이 가장 적합합니다. 빅데이터의 주요 요소 1. 데이터 정형데이터(고객 데이터, 거래 데이터 등) + 비정형데이터(텍스트, 동영상, 음성, 센서, GPS, SNS 등) 2. 데이터 수집, 처리, 저장 기술 비정형적인 ..
[빅데이터] 사진과 동영상같은 비정형 데이터 수집 방법 컴퓨터에게 이미지란 픽셀의 휘도값(픽셀의 밝기), RGB값(픽셀의 색)이 2차원으로 배열된 데이터입니다. 즉, 이미지를 단순한 숫자 집합으로 인식하는 것입니다. 이미지 인식을 지도 학습 기반의 기계학습으로 실행하는 것을 예로 들어보겠습니다.대량의 이미지와 이미지에 해당하는 물체명이 쌍을 이루는 훈련데이터가 있다고 가정합니다.이러한 훈련 데이터를 컨볼루션신경망(CNN), 심층신뢰신경망(DBN) 등의 알고리즘으로 구현된 학습기에 넣고 훈련한 결과로 학습 모형을 구축합니다. 결과적으로 훈련 데이터를 통해 원본데이터의 특성을 학습한 모형은 새로운 이미지를 입력했을 때 그 이미지가 어떤 물체인지 인식하게 됩니다. 이를 통해 사진 자동 태깅, 내용 기반 이미지 검색 등이 가능해지는 것입니다.