빅데이터 (13) 리스트형 [빅데이터] 사진과 동영상같은 비정형 데이터 수집 방법 컴퓨터에게 이미지란 픽셀의 휘도값(픽셀의 밝기), RGB값(픽셀의 색)이 2차원으로 배열된 데이터입니다. 즉, 이미지를 단순한 숫자 집합으로 인식하는 것입니다. 이미지 인식을 지도 학습 기반의 기계학습으로 실행하는 것을 예로 들어보겠습니다.대량의 이미지와 이미지에 해당하는 물체명이 쌍을 이루는 훈련데이터가 있다고 가정합니다.이러한 훈련 데이터를 컨볼루션신경망(CNN), 심층신뢰신경망(DBN) 등의 알고리즘으로 구현된 학습기에 넣고 훈련한 결과로 학습 모형을 구축합니다. 결과적으로 훈련 데이터를 통해 원본데이터의 특성을 학습한 모형은 새로운 이미지를 입력했을 때 그 이미지가 어떤 물체인지 인식하게 됩니다. 이를 통해 사진 자동 태깅, 내용 기반 이미지 검색 등이 가능해지는 것입니다. [하둡] 하둡 분산처리시스템 구성요소 분산 처리 시스템 하나의 작업에 여러대의 machine을 두고, MPI(Message Passing Interface)를 사용하는 시스템입니다. 하지만, 분산처리 시스템에도 문제가 있습니다. 분산 처리 시스템의 문제점- 복잡한 프로그래밍(데이터 프로세스의 sync 유지) : MPI가 프로그래밍 하기 굉장히 복잡합니다.- Partial failures : 수많은 컴퓨터를 사용하는 경우에 일부의 컴퓨터가 고장나는 경우 시스템이 동작하지 않습니다. GFS(구글파일시스템)과 MapReduce가 나오기전, 분산처리 시스템은 Message Passing Inteface가 너무 복잡하여 프로그래밍하기가 어려웠습니다. 또한, 수만대의 분산 컴퓨터들이 하나만 고장이나도 동작을 안하게 되는 문제가 있었습니다. 이 문제를 .. [하둡] 아파치 하둡이란? 아파치 하둡이란? Apache Hadoop은 빅데이터를 저장, 처리, 분석할 수 있는 소프트웨어 프레임워크입니다. 아파치 하둡의 특징은 다음과 같습니다.- Distributed: 수십만대의 컴퓨터에 자료 분산 저장 및 처리 - Scalable: 용량이 증대되는 대로 컴퓨터 추가 - Fault-tolerant: 하나 이상의 컴퓨터가 고장나는 경우에도 시스템이 정상 동작 - Open source: 공개 소프트웨어 구글이 나오면서 굉장히 많은 데이터를 가져온 사례가 있었습니다. 구글에서 데이터들이 빅데이터가 되었고, 빅데이터를 분석하고 처리하는 프레임워크가 존재하지 않았습니다. 그래서 구글이 생각한게 데이터를 모아서 처리할 수 있는 프레임워크가 필요하다고 생각하였고, 실제 빅데이터를 처리할 수 있는 프레임워크.. 이전 1 2 3 다음
