40

실습: 병렬 ETL 파이프라인 구현

Day 2: 이 작업 다음에 저 작업 실행해줘

학습 목표

병렬 실행과 합류를 구현할 수 있다 TaskFlow API로 DAG를 작성할 수 있다

미션: E-commerce ETL 파이프라인

아래 구조의 DAG를 구현하세요.

에디터 로딩 중...

요구사항

  1. TaskFlow API 사용 (@dag, @task)
  2. orders와 products를 병렬 처리
  3. 두 결과를 합쳐서 리포트 생성
  4. XCom으로 건수 정보 전달
에디터 로딩 중...
힌트 보기
  • @dag 데코레이터는 함수 바로 위에 붙인다
  • TaskFlow에서는 함수 호출 형태로 Task를 연결한다
  • 리스트로 묶으면 병렬 실행: [task_a, task_b]
  • 두 Task의 결과를 받는 함수를 만들면 자동으로 합류점이 된다
정답 보기
에디터 로딩 중...