프로그래밍(TA, AA) (269) 리스트형 [개발용어] 전체백업 / 증분백업 / 차등 백업 백업: 원본이 손상되거나 잃어버릴 경우를 대비하여 원본 자료를 미리 복사하는 과정. 증분 백업은 선택된 폴더의 전체 백업 이후, 변경되거나 추가된 데이터만 선택적으로 백업하는 방식이다.증분 백업은 전체 백업에 비해 데이터량이 적고 소요시간이 짧다는 장점이 있으나, 전체 백업에 종속적이다. 백업 방식: 전체 백업(Full Backup), 증분 백업(Incremental Backup), 차등 백업(Differential Backup) 데이터의 연속성을 보장하기위해서 백업은 중요하다. (https://www.sharedit.co.kr/posts/427) 풀백업: 선택된 폴더의 DATA를 모두 백업하는 방식 증분백업: 선택된 폴더의 Full 백업 이후 변경/추가된 Data만 백업하는 방식 차등백업: 선택된 폴더.. [SCALA] object, case class, trait [object: 객체]object는 하나 이상의 인스턴스를 가질 수 없는 형태의 클래스로, 객체 지향 설계에서는 singleton이라 한다. new 키워드로 인스턴스를 생성하는 대신 이름으로 직접 해당 객체에 접근한다. 객체는 실행 중인 JVM에서 최초로 접근할 때 자동으로 인스턴스화된다. 객체에 처음 접근하기 전까지는 인스턴스화되지 않는다. 스칼라는 객체에 'main' 메소드를 사용하여 애플리케이션의 진입점으로 셸에서 실행될 수 있는 명령줄 애플리케이션을 생성할 수 있다. 명령줄 애플리케이션을 스칼라에서 생성하려면 입력 인수로 문자열 배열을 취하는 main 메소드를 추가하면 된다. 코드를 컴파일한 이후에 객체 이름을 scala 명령어와 함께 실행하면 된다. [case class: 케이스 클래스]case.. [SPARK] 스파크 SUBMIT [yarn-cluster spark-submit] [yarn-client spark-submit] 스파크는 spark-submit이라는 모든 클러스터 매니저 간에 작업을 제출해 주는 단일 툴을 제공한다. spark-submit이 옵션 없이 스크립트 이름 혹은 jar 파일 이름만으로 호출된다면 단순히 로컬로 스파크 프로그램을 실행한다. 이 프로그램을 스파크 단독 클러스터 매니저에게 제출하기 위해서는 단독 클러스터의 주소 및 실행을 원하는 익스큐터 프로세스의 크기 등 추가 정보를 제공해 주어야 한다. bin/spark-submit --master spark://host:7077 --executor-memory 10g my_script.py --master 플래그는 접속할 클러스터의 주소를 지정해 주는데, 여.. [SPARK] 스파크 병렬화 보호되어 있는 글입니다. [SPARK] 스파크 UI 보호되어 있는 글입니다. 이전 1 ··· 22 23 24 25 26 27 28 ··· 54 다음
