프로그래밍(TA, AA) (269) 리스트형 [SPARK] 아파치 스파크란? 아파치 스파크는 빅데이터처리를 위한 오픈소스 병렬분산처리 플랫폼입니다. "스트림처리" 수요 등에 대응하고자 스파크는 성능/편의성을 모두 고려하여 개발이 이뤄지고 있습니다. 스파크는 복수의 컴포넌트로 구성이 됩니다. 스파크 코어는 데이터소스로 HDFS(Hadoop Distributed File System) 뿐만 아니라 Hive, HBase, PostgreSQL, MySQL, CSV 파일 등도 처리할 수 있습니다. [ SQL처리용 라이브러리(스파크 SQL) + 스트림처리용 라이브러리(스파크 스트리밍) .. ][ 병렬분산처리 엔진(스파크 코어) ][ HDFS/하이브(Hive)/HBase/PostgreSQL/MySQL/CSV(데이터소스) ] 스파크는 대량의 데이터를 고속 병렬분산처리한다. 스파크는 데이터소스로.. [SPARK] 스파크 주요 키워드 spark.serializer = org.apache.spark.serializer.KryoSerializer(카이로 써드파티 직렬화 라이브러리)spark.rdd.compress = truespark.dynamicAllocation.maxExecutors = 512spark.debug.maxToStringFields = 1000 HiveMetaStore / hive.metastore storage.MemoryStorestorage.BlckmanagerInfo spark.sparkContext(애플리케이션 전체의 실행 관련 정보 집약 객체로 스케줄러 등이 포함 - RDD 생성시)spark.sparkSession(스파크컨텍스트에 세션정보가 추가로 포함 - DataFrame 생성시) sparkParquet(스.. [JVM] Java 애플리케이션의 OOME(Out Of Memory Error) Java 애플리케이션 환경인 WAS 기반에서 수행된 서비스들에 대해서는 흔히 JVM Heap 메모리 관련한 오류들을 흔히 접하게 됩니다. OOME는 Out Of Memory Error(Exception)이라고 하는데 JVM의 메모리가 부족하여 발생한 에러로 그 종류/원인은 다양합니다. Java.lang.OutOfMemoryError는 Java.lang.VirtualMachineError의 Subclass로 JVM의 Heap Memory에 더이상 Object를 할당할 수 없을때 발생하는 오류입니다. 1. Java.lang.OutOfMemoryError: Java heap spaceJava.lang.OutOfMemoryError : Java heap space는 Java의 Heap Memory 공간이 부족하.. [C/C++] CRC32 란? CRC32란? 여러 용도가 있지만, PC에서는 주로, 파일의 에러를 체크하는데 CRC가 사용됩니다. 즉 파일이 깨졌는지 아닌지 알아보는데 사용하는 것입니다. 예를 들어, 어떤 홈페이지에서 100기가짜리 파일을 며칠 걸려서 다운로드 받았는데, 그 파일이 깨지지 않고 정확하게 전송되었는지 알려면 어떻게 해야할가요. 그 파일을 다시 한 번 더 다운로드 받아서, 전에 받은 파일과 한 글자씩 비교해 보아야할 것입니다. 그러나 그러면 같은 파일을 2번 다운받아야 하니 아주 비효율적입니다. 그런데 만약 파일의 CRC값을 알게된다면 간단히 해결됩니다. 운영자가 "그 파일의 CRC 값은 D01B0B02다" 라고 알려주게되면, 다운받은 파일의 CRC값을 계산하여, D01B0B02라는 값이 나오면 파일이 100% 정확히 받.. [스크립트] 루아스크립트 알아보기 루아(Lua) 프로그래밍 언어는 가벼운 명령형/절차적 언어로, 확장 언어로 쓰일 수 있는 스크립팅 언어를 주 목적으로 설계되었습니다. 그러나 알고리즘적 설계(테이블 등)가 많이 내재되어 있고 인터프리터(언어 실행기)로만 코드뭉치를 실행할 수 있어, 선언형 언어로도 볼 수 있습니다. 루아는 확장 언어와 스크립트 언어를 지향하고 있으며, 충분히 작기 때문에 많은 플랫폼에서 사용할 수 있습니다. 루아는 bool 값, 숫자(기본적으로 배정도 실수형), 그리고 문자열과 같은 적은 수의 기본 데이터형만을 지원하며, 배열/집합/해시테이블/리스트/레코드와 같은 전형적이 데이터 구조는 모두 연관 배열과 유사한 루아의 테이블 자료형으로 구현하고 있습니다. 이름 공간과 객체들 역시 이 테이블을 사용하여 표현할 수 있습니다... 이전 1 ··· 24 25 26 27 28 29 30 ··· 54 다음
