35분
실습: 어제 데이터로 돌아가기
Delta Lake: ACID 트랜잭션과 Time Travel
실습: 어제 데이터로 돌아가기
Spark 심화: Streaming & Delta Lake > Delta Lake: ACID 트랜잭션과 Time Travel
학습 목표
Delta Lake 테이블을 생성할 수 있다 과거 버전을 조회할 수 있다 특정 버전으로 롤백할 수 있다
Time Travel: 실수를 되돌리는 능력
"아까 그 데이터로 돌아갈 수 있어요?"
Delta Lake라면 당연히 가능하다.
미션: 데이터 변경 후 롤백
- 초기 데이터 생성 (버전 0)
- 데이터 수정 (버전 1)
- 데이터 추가 (버전 2)
- 버전 0, 1, 2 각각 조회
- 버전 1로 롤백
핵심 문법
에디터 로딩 중...
에디터 로딩 중...
힌트 보기
- • DeltaTable.forPath(spark, path)로 기존 테이블 참조
- • update() 메서드: condition과 set 딕셔너리 사용
- • option("versionAsOf", n)으로 특정 버전 조회
- • history()로 모든 변경 이력 확인
- • RESTORE는 새 버전을 생성 (기존 버전 유지)
정답 보기
에디터 로딩 중...