전체 글 (664) 리스트형 [SPARK] 스파크 병렬화 보호되어 있는 글입니다. [SPARK] 스파크 UI 보호되어 있는 글입니다. [SPARK] 스파크 SQL 보호되어 있는 글입니다. [SPARK] 스파크 실행 구조 분산모드에서 스파크는 하나의 중앙 조정자(coordinator)와 여러 개의 분산 작업 노드로 구성되는 마스터/슬레이브 구조를 사용한다. 중앙 조정자는 드라이버라고 부른다. 드라이버는 executor라고 불리는 다수의 분산 작업자들과 통신한다. 드라이버는 자신만의 자바 프로세스에서 돌아가며 각 익스큐터 또는 독립된 자바 프로세스이다. 하나의 드라이버와 익스큐터들을 합쳐서 스파크 애플리케이션이라고 부른다. 하나의 스파크 애플리케이션은 클러스터 매니저라고 불리는 외부 서비스를 써서 여러 개의 머신에서 실행된다. 이야기했듯이 스파크에는 단독 클러스터 매니저라고 불리는 내장 클러스터 매니저가 함께 패키징되어 있다. 스파크는 그 외에도 유명한 오픈소스 클러스터 매니저인 하둡 얀이나 아파치 메소스에서도 동작한다. .. [SPARK] 스파크의 직렬화 보호되어 있는 글입니다. 이전 1 ··· 61 62 63 64 65 66 67 ··· 133 다음