45분
Silver → Gold: Dimension 테이블 (SCD Type 2)
Day 3: 데이터 변환 파이프라인
Silver → Gold: Dimension 테이블 (SCD Type 2)
Phase 1 캡스톤: E2E 데이터 파이프라인 > Day 3: 데이터 변환 파이프라인
학습 목표
SCD Type 2 패턴을 구현할 수 있다 Surrogate Key를 생성할 수 있다 Dimension 테이블을 관리할 수 있다
미션: dim_user 구현 (SCD Type 2)
사용자 변경 이력을 추적하는 dim_user 테이블을 만드세요.
SCD Type 2란?
에디터 로딩 중...
변경 이력이 모두 남는다!
요구사항
-
Surrogate Key 생성
- user_sk: 자동 증가 키
-
SCD Type 2 컬럼
- valid_from: 유효 시작일
- valid_to: 유효 종료일 (기본: 9999-12-31)
- is_current: 현재 유효 여부
-
변경 감지
- plan_type, email 변경 시 새 레코드 생성
- 기존 레코드는 valid_to 업데이트
에디터 로딩 중...
힌트 보기
- • SCD Type 2에서 valid_to가 9999-12-31이면 현재 유효한 레코드
- • Surrogate Key는 Natural Key와 별개로 시스템이 생성하는 키
- • LEFT JOIN에서 오른쪽이 NULL이면 신규 레코드
- • Delta MERGE에서 whenMatchedUpdate로 특정 컬럼만 업데이트
정답 보기
에디터 로딩 중...