Spark 아키텍처, DataFrame API, Catalyst Optimizer, UDF & Pandas UDF, 로그 분석 파이프라인을(를) 학습합니다. 실습을 통해 대용량 웹 로그 분석 파이프라인을 완성합니다.
7 Lessons · 2시간 25분
pandas로 10GB 처리하다 포기했다
읽기 자료 · 15분
Spark의 비밀: 분산 처리
읽기 자료 · 20분
Spark 아키텍처: Driver와 Executor
읽기 자료 · 25분
실습: 첫 번째 Spark 프로그램
실습 · 30분
Spark 초보자가 하는 흔한 실수
Day 1 점검
퀴즈 · 10분
도전: 파티션 탐험
챌린지 · 30분
8 Lessons · 3시간 25분
7 Lessons · 2시간 50분
7 Lessons · 2시간 55분
7 Lessons · 4시간 5분
대용량 웹 로그 분석 파이프라인
학습 중 질문이 있으시면 커뮤니티에서 도움을 받으세요.
제너레이터, 데코레이터
청크 처리와 dtype 최적화, MultiIndex와 피벗 테이블
윈도우 함수 (ROW_NUMBER, RANK, DENSE_RANK), LAG, LEAD, 프레임