Data Skew: 무엇이 문제인가?

groupBy("seller_id") 하면:

---

Skew 감지 방법

방법 1: Spark UI

방법 2: 데이터 분포 확인

---

해결책 1: Salting (소금 뿌리기)

핫 키에 랜덤 접미사를 붙여서 분산:

효과: 5억 건 → 500만 건 x 100 파티션

---

해결책 2: AQE (Adaptive Query Execution)

Spark 3.0+에서 자동으로 Skew 처리:

AQE가 하는 일:

1. 런타임에 파티션 크기 확인
2. 큰 파티션을 자동으로 분할
3. 작은 파티션은 병합

---

해결책 3: Broadcast Join (Skew 회피)

Join 대상이 작으면 Broadcast로 Skew 회피:

제한: 작은 테이블이 메모리에 들어가야 함

---

Skew 해결 체크리스트