20분

ETL에서 SCD 처리하기

Day 3: 작년 VIP가 올해 일반이 됐는데요 - SCD

학습 목표

ETL 과정에서 SCD를 구현하는 방법을 이해한다 MERGE 문을 활용할 수 있다

ETL에서 SCD 처리

OLTP에서 DW로 데이터를 적재할 때 SCD 처리가 필요하다.

에디터 로딩 중...

패턴 1: MERGE 문 (Upsert)

MERGE = INSERT or UPDATE를 한 번에

에디터 로딩 중...

패턴 2: Type 2 배치 처리

에디터 로딩 중...

패턴 3: CDC (Change Data Capture)

실시간으로 변경사항 감지:

에디터 로딩 중...

CDC 장점:

실시간에 가까운 동기화
변경된 데이터만 처리 (효율적)
삭제도 감지 가능

실무 팁: 순서가 중요!

ETL 순서:

Dimension 먼저 적재 (SCD 처리)
그 다음 Fact 적재 (Dimension FK 참조)

에디터 로딩 중...

Late Arriving Fact

Fact가 Dimension보다 먼저 오는 경우:

에디터 로딩 중...