40분
전체 파이프라인 DAG
Day 4: Airflow 오케스트레이션
전체 파이프라인 DAG
Phase 1 캡스톤: E2E 데이터 파이프라인 > Day 4: Airflow 오케스트레이션
학습 목표
복잡한 DAG를 구성할 수 있다 TaskGroup으로 Task를 그룹화할 수 있다 BranchOperator로 조건부 실행을 구현할 수 있다
미션: 전체 E2E 파이프라인 DAG
모든 단계를 통합한 완전한 DAG를 만드세요.
요구사항
-
TaskGroup 사용
- extract_group: 추출 Task들
- transform_group: 변환 Task들
- load_group: 적재 Task들
-
조건부 실행
- 데이터가 없으면 변환 건너뛰기
-
병렬 처리
- 독립적인 추출은 병렬로
-
완전한 파이프라인
에디터 로딩 중...
에디터 로딩 중...
힌트 보기
- • @task_group으로 관련 Task들을 그룹화하면 UI에서 보기 좋다
- • BranchPythonOperator는 다음에 실행할 task_id를 문자열로 반환한다
- • trigger_rule로 이전 Task 상태에 따른 실행 조건을 설정할 수 있다
- • ALL_DONE은 이전 Task가 성공/실패/skip 상관없이 실행
정답 보기
에디터 로딩 중...