10분

제출 전 체크리스트

Day 5: 프로덕션 ETL 시스템 구축

학습 목표

프로젝트 완성도를 점검한다

제출 체크리스트

DAG 구현 (60점)

  • daily_extract.py (20점)

    • 3개 소스 병렬 추출
    • TaskGroup 사용
    • Dataset 업데이트 (outlets)
    • 메타데이터 XCom 저장

  • daily_transform.py (20점)

    • Dataset 기반 트리거
    • 데이터 통합 로직
    • 품질 검증
    • Dataset 업데이트

  • weekly_report.py (20점)

    • 주간 집계 로직
    • HTML 리포트 생성
    • Slack 요약 발송

에러 핸들링 (20점)

  • 재시도 설정 (retries >= 2, exponential backoff)
  • 타임아웃 설정 (dagrun_timeout)
  • SLA 설정
  • 실패 콜백 (slack_failure_callback)

코드 품질 (10점)

  • TaskFlow API 사용
  • 로깅 적절히 사용
  • 코드 주석
  • 일관된 네이밍

테스트 & 문서 (10점)

  • DAG 로딩 테스트
  • 구조 검증 테스트
  • README.md 작성

폴더 구조

에디터 로딩 중...

README.md 예시

에디터 로딩 중...

제출 방법

  1. GitHub Repository에 코드 푸시
  2. README.md 링크 제출
  3. (옵션) 스크린샷: Airflow UI에서 DAG 실행 화면
이전다음