45분

DAG 1: Daily Extract 구현

Day 5: 프로덕션 ETL 시스템 구축

학습 목표

병렬 추출 파이프라인을 구현할 수 있다 프로덕션 수준의 에러 핸들링을 적용할 수 있다

Daily Extract DAG

매일 새벽 2시(KST)에 실행되어 3개 소스에서 데이터를 추출합니다.

데이터 소스

소스	타입	데이터
PostgreSQL	DB	주문 (orders)
REST API	API	고객 (customers)
S3	File	상품 (products)

요구사항

3개 소스 병렬 추출
재시도 3회 (exponential backoff)
추출 건수 검증
메타데이터 XCom 저장
실패 시 Slack 알림

에디터 로딩 중...

힌트 보기

• Dataset을 outlets에 지정하면 완료 시 downstream DAG 트리거
• task_group 안의 Task들은 자동으로 그룹핑됨
• sla 파라미터로 각 Task별 SLA 설정 가능

정답 보기

에디터 로딩 중...