30분
에러 처리와 Slack 알림
Day 4: Airflow 오케스트레이션
에러 처리와 Slack 알림
Phase 1 캡스톤: E2E 데이터 파이프라인 > Day 4: Airflow 오케스트레이션
학습 목표
콜백 함수로 실패를 처리할 수 있다 Slack 알림을 설정할 수 있다 SLA를 설정하고 모니터링할 수 있다
미션: 에러 처리 및 알림
파이프라인 실패 시 Slack으로 알림을 보내는 기능을 추가하세요.
요구사항
-
실패 콜백
- on_failure_callback 설정
- 에러 상세 정보 포함
-
Slack 알림
- 실패 시 Slack 메시지
- DAG 이름, Task 이름, 에러 메시지
-
SLA
- 4시간 내 완료 목표
- SLA 초과 시 알림
에디터 로딩 중...
힌트 보기
- • on_failure_callback은 context dict에서 task_instance, exception 등을 받는다
- • Slack Webhook은 Airflow Connection으로 관리하면 보안에 좋다
- • SLA는 Task 또는 DAG 레벨에서 설정할 수 있다
- • sla_miss_callback은 SLA 초과 시 호출되며, 블로킹 Task 정보를 포함한다
정답 보기
에디터 로딩 중...