🏆50분

Day 3 챌린지: 전체 변환 파이프라인

Day 3: 데이터 변환 파이프라인

미션: Transformation Layer 완성

오늘 만든 모든 Transformer를 통합하여 Bronze → Gold 파이프라인을 완성하세요.

실행 순서

에디터 로딩 중...

요구사항

  1. 의존성 관리

    • Dimension이 Fact보다 먼저 실행
    • 실패 시 다음 단계로 진행하지 않음

  2. 메트릭 수집

    • 각 단계별 처리 건수
    • 총 소요 시간

  3. 에러 처리

    • 실패 시 롤백 (가능한 경우)
    • 에러 로그 상세 기록

평가 기준

항목배점
전체 파이프라인 정상 실행40점
의존성 순서 보장20점
메트릭 수집20점
에러 처리20점

힌트

에디터 로딩 중...
힌트 보기
try-except로 각 단계를 감싸고, 실패 시 즉시 종료
Delta Lake의 Time Travel로 롤백 가능 (RESTORE TABLE)
Spark 세션은 하나만 생성하여 모든 Transformer가 공유
메트릭은 딕셔너리에 모아서 마지막에 출력
이전다음