본문 바로가기

분류 전체보기

(655)
[수학] 수학의 기본 정석 정리 {a1, a2, ..., an}의 부분집합의 개수는 => 2^n개 이다. 집합B의 원소의 개수가 n일때, 부분집합의 개수는 2^n개로 주어지는 이유는 임의로 B={a1, a2, a3, ... an}으로 두고, 우선 가능한 부분집합을 빈 공간 { }으로 보면, 여기에 각 원소를 넣을 것인지, 넣지 않을 것인지를 판단할 수 있습니다. 즉 n개의 모든 원소에 대해 부분집합을 꾸릴 수 있는 총 경우의 수는, 각 원소들을 포함시킬 것이냐, 제외시킬 것이냐 두 가지의 경울의 수를 각각 곱해줌으로써 구할 수 있습니다.예를 들어 빈 공간에 a1, a2, ... an이 모두 포함되지 않는다면 (모두 제외) 부분집합은 공집합이 될 것이고, 모두 포함시킨다면 부분집합은 n개의 원소가 모두 포함된 자기 자신으로 나올 것입니다..
[수학] 인수분해 정리 수학1 공부를 다시하고 있습니다. 기본 개념 정리부터 다시 파고 있는데요. 그동안 공식만 외워서 수학을 했었다는것이 굉장히 후회 스럽습니다. 개념을 다시 파다보니 저는 그동안 공부를 했던게 아니라는 걸 절실히 느꼈습니다. 암기형 학습이였던건데, 그런 학습에는 한계가 있기 마련입니다. 서술 관련 강의를 수강하고 있는데, 수1범위에서 개념 정리하 필요한 부분을 여기 포스팅에 찬찬히 정리해 나가겠습니다. 인수분해대수론과 대수학에서, 인수 분해는 곱이 정의된 집합내의 어떤 원소를 다른 원소들의 곱으로 표현하는 것을 가리킵니다. 특히, 정수집합에서 어떤 주어진 정수를 소수들의 곱으로 표현하는 것을 소인수 분해라고 부릅니다. 따라서 소인수 분해는 인수분해의 일종이 됩니다. 일반적으로는 한 다항식을 두 개 이상의 인..
[하둡] 맵리듀스(MapReduce) 이해하기 맵리듀스는 여러 노드에 태스크를 분배하는 방법으로 각 노드 프로세스 데이터는 가능한 경우, 해당 노드에 저장됩니다. 맵리듀스 태스크는 맵(Map)과 리듀스(Reduce) 총 두단계로 구성됩니다. 간단한 예를 들면 fork-join의 개념을 들 수 있습니다. 큰 작업에 대해 fork로 분할하고 또다시 fork로 분할합니다. 작은 작업을 다시 join하게 됩니다. 하둡에서는 큰 데이터가 들어왔을 때 64MB단위 블럭으로 분할합니다. 각각 블럭에 대한 연산을 합니다. 구글에는 많은 텍스트 파일이 존재합니다. Word1, Word2, Word3... 텍스트 안에 단어가 몇 번 나왔는가하는 것을 계산하는 작업을 수행하게 됩니다. 즉, 텍스트파일을 64MB 단위로 잘라내어 각 블럭에 대해서 특정 단어가 몇번 출현했..
[하둡] HDFS의 구현컨셉 및 설계 HDFS 기본 컨셉HDFS는 Java로 작성된 Google의 GFS 기반의 파일 시스템입니다. 기존의 파일 시스템(ext3, ext4 or xfs)의 상위에서 동작하게 됩니다. HDFS의 file 저장 방식1) File은 block 단위로 분할됩니다. (각 block은 기본적으로 64MB 또는 128MB 크기) - 만약 데이터가 180M라면 (64+64+64 총 3개의 블럭에 나눠 들어가게 됨)2) 데이터가 로드 될 때 여러 machine에 분산되어 저장됩니다. - 같은 file의 다른 block들은 서로 다른 machine에 저장됨 - 이를 통해 효율적인 MapReduce 처리가 가능3) Block들은 여러 machine에 복제되어 Data node에 저장됩니다. - 기본 replication은 3개 ..
[하둡] 하둡의 HDFS 사용법 하둡 HDFS 기본 사용법시스템과의 상호작용은 hadoop 이라는 명령어를 통해서 합니다. 만약 터미널을 열고, 인자 없이 명령어를 실행하면 도움말이 나옵니다. 이와 같이 실행하기 위해서, 아래 명령어를 실행합니다. $hadoop hadoop 명령어는 여러개의 서브 시스템으로 세분화 되어있습니다. 예를 들어, HDFS의 파일을 처리하기 위한 서브 시스템과 MapReduce Processing Job을 관리하고 실행하기 위한 서브 시스템이 있습니다. Step 1. Exploring HDFS하둡 프로그램에서 HDFS와 관련된 서브 시스템은 FsShell 이라고 합니다. 이 서브 시스템은 hadoop fs 명령어로 실행할 수 있습니다. 1. 데스크탑의 Terminal 아이콘을 더블클릭하여 Terminal을 실..