30분
Sensor: 파일이 도착할 때까지 기다려
Day 4: 작업 실패하면 슬랙으로 알림 줘
Sensor: 파일이 도착할 때까지 기다려
Apache Airflow - 워크플로우 오케스트레이션 > Day 4: 작업 실패하면 슬랙으로 알림 줘
학습 목표
Sensor의 동작 원리를 이해한다 다양한 Sensor를 활용할 수 있다
Sensor란?
조건이 충족될 때까지 대기하는 Operator
에디터 로딩 중...
주요 Sensor 종류
| Sensor | 대기 조건 |
|---|---|
FileSensor | 파일 존재 |
S3KeySensor | S3 객체 존재 |
ExternalTaskSensor | 다른 DAG의 Task 완료 |
HttpSensor | HTTP 응답 조건 |
SqlSensor | SQL 쿼리 결과 조건 |
Sensor 모드
| 모드 | 동작 | 사용 |
|---|---|---|
poke | 주기적 체크, 슬롯 점유 | 짧은 대기 |
reschedule | 체크 후 슬롯 반환 | 긴 대기 |
에디터 로딩 중...
힌트 보기
- • mode='reschedule'은 긴 대기에 적합 (슬롯 반환)
- • mode='poke'는 짧은 대기에 적합 (빠른 체크)
- • soft_fail=True면 타임아웃 시 실패 대신 스킵
- • {{ ds }}는 Jinja 템플릿 - logical_date의 YYYY-MM-DD
정답 보기
에디터 로딩 중...