15분

"어디가 느린지 모르겠어요" - Spark UI로 범인 찾기

Spark UI: 병목 찾기와 디버깅

학습 목표

Spark UI의 필요성을 이해한다 Spark UI에서 확인할 수 있는 정보를 파악한다

"코드는 맞는데 왜 느리죠?"

Spark Job이 느리다. 코드를 아무리 봐도 문제가 없어 보인다.

에디터 로딩 중...

3줄짜리 코드인데 2시간째 안 끝난다. 어디가 병목인지 어떻게 알지?

Spark UI: 블랙박스를 열어보는 도구

http://localhost:4040 (기본 포트)

에디터 로딩 중...

Spark UI에서 알 수 있는 것

탭	정보	활용
Jobs	전체 Job 목록과 소요 시간	어떤 Job이 느린지
Stages	Stage별 상세 정보	어떤 Stage가 병목인지
Tasks	Task별 메트릭	Data Skew 확인
Storage	캐시된 데이터	캐시 효과 확인
Executors	Executor 상태	리소스 사용량
SQL	SQL 쿼리 실행 계획	쿼리 최적화

오늘 배울 것

Jobs/Stages 탭: Job과 Stage 이해하기
Tasks 분석: Data Skew 찾기
SQL 탭: 실행 계획 분석
Executors 탭: 리소스 모니터링

시작하자.