30분
첫 번째 DAG 만들기
Day 4: Airflow 오케스트레이션
첫 번째 DAG 만들기
Phase 1 캡스톤: E2E 데이터 파이프라인 > Day 4: Airflow 오케스트레이션
학습 목표
Airflow DAG를 작성할 수 있다 TaskFlow API를 사용할 수 있다 Task 의존성을 설정할 수 있다
미션: 기본 DAG 작성
Airflow 2.x의 TaskFlow API를 사용하여 DAG를 만드세요.
TaskFlow API란?
기존 방식:
에디터 로딩 중...
TaskFlow API (권장):
에디터 로딩 중...
데코레이터로 간결하게!
요구사항
-
DAG 정의
- 매일 새벽 2시 실행
- catchup=False (과거 실행 안 함)
-
Task 정의
- extract_users
- extract_events
- transform_staging (extract 완료 후)
-
의존성
- extract_users, extract_events → transform_staging
에디터 로딩 중...
힌트 보기
- • @dag 데코레이터가 DAG를 정의하고, @task가 Task를 정의한다
- • TaskFlow API에서 함수 인자가 자동으로 의존성이 된다
- • catchup=False는 과거 실행을 건너뛰고 현재부터 시작한다
- • doc_md로 DAG 문서를 작성하면 Web UI에 표시된다
정답 보기
에디터 로딩 중...