SQL 탭: DataFrame 쿼리도 여기에!

DataFrame API도 내부적으로 SQL로 변환되어 SQL 탭에 표시된다.

↓ SQL 탭에서 시각화

---

주요 연산자 해석

연산자	의미	비용
FileScan	파일 읽기	I/O
Filter	조건 필터링	낮음
Project	컬럼 선택	낮음
Exchange	Shuffle!	높음
HashAggregate	해시 기반 집계	중간
SortMergeJoin	정렬 후 병합 조인	높음
BroadcastHashJoin	Broadcast 조인	낮음
Sort	정렬	높음

---

Exchange (Shuffle) 읽는 법

주의할 패턴:

• Exchange가 여러 번 연속 → Shuffle이 많음
• Exchange 후 데이터 크기 확인 (rows, size)

---

Join 방식 확인

BroadcastHashJoin (좋음)

SortMergeJoin (보통)

---

SQL 탭 분석 체크리스트

---

explain() 명령어

코드에서 직접 확인: