15분
Executors 탭: 리소스 모니터링
Spark UI: 병목 찾기와 디버깅
Executors 탭: 리소스 모니터링
Spark 심화: Streaming & Delta Lake > Spark UI: 병목 찾기와 디버깅
학습 목표
Executors 탭에서 리소스 사용량을 확인할 수 있다 메모리/CPU 문제를 진단할 수 있다 Executor 장애를 감지할 수 있다
Executors 탭: 클러스터 건강 상태
에디터 로딩 중...
핵심 지표 해석
Memory Usage
에디터 로딩 중...
Disk Used (Spill)
에디터 로딩 중...
Tasks (Active)
에디터 로딩 중...
Failed Tasks
에디터 로딩 중...
Executor 상태별 대응
| 상태 | 의미 | 대응 |
|---|---|---|
| Active | 정상 | - |
| Dead | 죽음 | 로그 확인, 메모리 증가 |
| Excluded | 제외됨 | 반복 실패로 제외, 근본 원인 해결 |
흔한 문제와 해결
문제 1: 모든 Executor 메모리 90%+
에디터 로딩 중...
문제 2: Disk Used가 큼
에디터 로딩 중...
문제 3: Executor가 자주 죽음
에디터 로딩 중...
모니터링 체크리스트
에디터 로딩 중...