10분
신입이 자주 하는 실수 TOP 5
Day 1: 크론탭으로 ETL 돌리다 지쳤다
신입이 자주 하는 실수 TOP 5
Apache Airflow - 워크플로우 오케스트레이션 > Day 1: 크론탭으로 ETL 돌리다 지쳤다
학습 목표
DAG 작성 시 흔한 실수를 피할 수 있다
실수 1: DAG가 UI에 안 보여요
에디터 로딩 중...
해결: DAG 컨텍스트 안에서 Task를 정의해야 한다.
에디터 로딩 중...
에러 확인:
docker compose logs airflow-scheduler
실수 2: schedule_interval 오타
에디터 로딩 중...
외우는 법: "분시일월요" (분-시-일-월-요일)
실수 3: catchup=True 로 과거 전부 실행
에디터 로딩 중...
2020년부터 지금까지 모든 날짜를 실행하려고 한다. 수백 개의 DAG Run이 쌓인다.
해결: catchup=False 명시
실수 4: PythonOperator에 함수 호출
에디터 로딩 중...
실수 5: 의존성 설정 안 함
에디터 로딩 중...
의존성이 없으면 Task들이 병렬로 실행된다.
순서가 중요하면 반드시 >> 로 연결하자.