35분
실습: CDC 데이터 MERGE로 적용하기
Delta Lake: ACID 트랜잭션과 Time Travel
실습: CDC 데이터 MERGE로 적용하기
Spark 심화: Streaming & Delta Lake > Delta Lake: ACID 트랜잭션과 Time Travel
학습 목표
MERGE 연산의 용도를 이해한다 whenMatchedUpdate, whenMatchedDelete, whenNotMatchedInsert를 사용할 수 있다 CDC 패턴을 구현할 수 있다
MERGE: INSERT + UPDATE + DELETE를 한 번에
"원본 DB에서 변경된 데이터를 데이터 레이크에 동기화해야 해요."
CDC (Change Data Capture) 시나리오:
- 원본 DB의 변경분만 가져옴
- I: Insert, U: Update, D: Delete 플래그
에디터 로딩 중...
MERGE 문법
에디터 로딩 중...
에디터 로딩 중...
힌트 보기
- • alias()로 target, source 구분 필수
- • condition 파라미터로 operation 타입별 분기
- • set과 values는 딕셔너리 형태
- • execute()를 호출해야 실제 실행
- • operationMetrics에서 영향받은 행 수 확인 가능
정답 보기
에디터 로딩 중...