40분
실습: 병렬 ETL 파이프라인 구현
Day 2: 이 작업 다음에 저 작업 실행해줘
실습: 병렬 ETL 파이프라인 구현
Apache Airflow - 워크플로우 오케스트레이션 > Day 2: 이 작업 다음에 저 작업 실행해줘
학습 목표
병렬 실행과 합류를 구현할 수 있다 TaskFlow API로 DAG를 작성할 수 있다
미션: E-commerce ETL 파이프라인
아래 구조의 DAG를 구현하세요.
에디터 로딩 중...
요구사항
- TaskFlow API 사용 (@dag, @task)
- orders와 products를 병렬 처리
- 두 결과를 합쳐서 리포트 생성
- XCom으로 건수 정보 전달
에디터 로딩 중...
힌트 보기
- • @dag 데코레이터는 함수 바로 위에 붙인다
- • TaskFlow에서는 함수 호출 형태로 Task를 연결한다
- • 리스트로 묶으면 병렬 실행: [task_a, task_b]
- • 두 Task의 결과를 받는 함수를 만들면 자동으로 합류점이 된다
정답 보기
에디터 로딩 중...