30분
윈도우 함수: 순위, 누적, 이동 평균
Day 2: SQL 잘하면 Spark도 잘한다
윈도우 함수: 순위, 누적, 이동 평균
Apache Spark: 대용량 데이터 처리의 시작 > Day 2: SQL 잘하면 Spark도 잘한다
학습 목표
윈도우 함수의 개념을 이해한다 순위, 누적 합계, 이동 평균을 계산할 수 있다
윈도우 함수란?
GROUP BY는 그룹을 하나의 행으로 합친다. 윈도우 함수는 각 행을 유지하면서 그룹 내 계산을 수행한다.
GROUP BY:
에디터 로딩 중...
Window:
에디터 로딩 중...
Window 정의
에디터 로딩 중...
주요 윈도우 함수
| 함수 | 설명 |
|---|---|
| row_number() | 유일한 순번 (1,2,3,4) |
| rank() | 동점 시 같은 순위 (1,2,2,4) |
| dense_rank() | 연속 순위 (1,2,2,3) |
| lag(col, n) | n행 이전 값 |
| lead(col, n) | n행 이후 값 |
| sum().over(window) | 누적 합계 |
| avg().over(window) | 이동 평균 |
에디터 로딩 중...
힌트 보기
- • Window.partitionBy().orderBy()로 윈도우 정의
- • rowsBetween()으로 범위 지정
- • lag(n)은 n행 이전, lead(n)은 n행 이후
- • .over(window)로 윈도우 함수 적용
정답 보기
에디터 로딩 중...