35분
Fact 테이블 생성
Day 3: 데이터 변환 파이프라인
Fact 테이블 생성
Phase 1 캡스톤: E2E 데이터 파이프라인 > Day 3: 데이터 변환 파이프라인
학습 목표
Fact 테이블을 설계하고 구현할 수 있다 Dimension 테이블과 조인할 수 있다 파티션 전략을 적용할 수 있다
미션: fact_events 구현
이벤트 Fact 테이블을 만드세요.
스키마
에디터 로딩 중...
요구사항
-
Dimension 조인
- stg_events + dim_user → user_sk 추가
- event_timestamp → date_sk 변환
-
파티션
- date_sk 기준 파티션
-
품질 체크
- Orphan 레코드 감지 (dim에 없는 user_id)
에디터 로딩 중...
힌트 보기
- • LEFT JOIN을 사용하면 매칭되지 않는 레코드도 유지된다
- • Orphan 레코드는 나중에 재처리하거나 별도 처리할 수 있다
- • date_sk를 YYYYMMDD 정수로 만들면 파티션과 조인이 효율적
- • partitionBy는 폴더 구조로 파티션을 생성한다
정답 보기
에디터 로딩 중...