45분

DAG 2: Daily Transform 구현

Day 5: 프로덕션 ETL 시스템 구축

학습 목표

Dataset 기반 트리거를 구현할 수 있다 데이터 변환 파이프라인을 구축할 수 있다

Daily Transform DAG

Extract 완료 후 자동으로 트리거되어 데이터를 변환합니다.

변환 로직

단계	내용
정제	NULL 처리, 중복 제거
통합	주문 + 고객 + 상품 조인
파생	RFM 점수, 카테고리별 매출
저장	Parquet 형식, 파티션

요구사항

Dataset 트리거 (daily_extract 완료 시)
병렬 변환 후 통합
데이터 품질 검증
변환 완료 Dataset 업데이트

에디터 로딩 중...

힌트 보기

• schedule=[RAW_DATA]로 Dataset 기반 트리거 설정
• 통합(integrate) 전에 개별 변환(transform)을 병렬로 실행
• 품질 검증 결과에 따라 알림 발송 여부 결정

정답 보기

에디터 로딩 중...