15분
XCom: Task 사이에 데이터 주고받기
Day 2: 이 작업 다음에 저 작업 실행해줘
XCom: Task 사이에 데이터 주고받기
Apache Airflow - 워크플로우 오케스트레이션 > Day 2: 이 작업 다음에 저 작업 실행해줘
학습 목표
XCom의 개념과 제약을 이해한다 XCom으로 데이터를 주고받을 수 있다
XCom이란?
XCom = Cross-Communication
Task 간에 작은 데이터를 주고받는 메커니즘.
에디터 로딩 중...
기본 사용법
Push (보내기)
에디터 로딩 중...
Pull (받기)
에디터 로딩 중...
TaskFlow에서의 XCom
자동으로 처리된다!
에디터 로딩 중...
XCom의 제약
1. 작은 데이터만!
XCom은 메타데이터 DB에 저장된다. 권장 크기: 48KB 이하
에디터 로딩 중...
2. 직렬화 가능한 타입만
- OK: str, int, dict, list
- NOT OK: DataFrame, 커넥션 객체
대용량 데이터 전달 패턴
에디터 로딩 중...
에디터 로딩 중...
규칙: XCom은 "어디에 데이터가 있는지"만 전달