Catalyst 최적화 파이프라인

---

3단계: Logical Optimization (가장 중요!)

1) Predicate Pushdown (조건 먼저 적용)

Before:

After:

필터를 먼저 하면 데이터가 확 줄어든다!

---

2) Column Pruning (컬럼 가지치기)

Before:

After:

Parquet은 컬럼 단위로 읽을 수 있어서 가능한 최적화.

---

3) Constant Folding (상수 미리 계산)

Before:

After:

---

4) Join Reordering (조인 순서 최적화)

Catalyst가 자동으로:

• 작은 테이블을 먼저 broadcast
• 큰 테이블은 나중에 처리
• 최적의 조인 순서 결정

---

4단계: Physical Planning

논리적 계획을 실제 실행 방법으로 변환.

Join 전략 선택:

전략	조건	속도
BroadcastHashJoin	한쪽이 작음	가장 빠름
SortMergeJoin	양쪽 다 큼	보통
ShuffleHashJoin	특수 상황	보통

Spark가 데이터 크기를 보고 자동 선택.