20분
Operator: 작업의 종류를 정의한다
Day 2: 이 작업 다음에 저 작업 실행해줘
Operator: 작업의 종류를 정의한다
Apache Airflow - 워크플로우 오케스트레이션 > Day 2: 이 작업 다음에 저 작업 실행해줘
학습 목표
주요 Operator의 종류와 용도를 안다 상황에 맞는 Operator를 선택할 수 있다
Operator란?
Operator = Task의 템플릿
"어떤 종류의 작업을 할 것인가"를 정의한다.
기본 Operator
1. BashOperator - 쉘 명령 실행
에디터 로딩 중...
사용 예:
- 기존 스크립트 실행
- 간단한 쉘 명령
2. PythonOperator - Python 함수 실행
에디터 로딩 중...
사용 예:
- 복잡한 로직
- 라이브러리 활용 (pandas, requests 등)
3. EmptyOperator - 아무것도 안 함
에디터 로딩 중...
사용 예:
- DAG의 시작/끝 마커
- 분기점 표시
데이터 연동 Operator
PostgresOperator - SQL 실행
에디터 로딩 중...
S3 Operator (AWS)
에디터 로딩 중...
Operator 선택 가이드
| 상황 | Operator |
|---|---|
| 기존 스크립트 실행 | BashOperator |
| Python 로직 실행 | PythonOperator |
| SQL 실행 | PostgresOperator, MySqlOperator |
| S3 업로드/다운로드 | S3 관련 Operator |
| HTTP API 호출 | SimpleHttpOperator |
| 이메일 발송 | EmailOperator |
| 아무것도 안 함 | EmptyOperator |
Provider 패키지
에디터 로딩 중...
기본 Airflow에는 BashOperator, PythonOperator만 포함. 외부 시스템 연동은 Provider 설치 필요.