15

"이거 다음에 저거 실행해줘"의 모든 것

Day 2: 이 작업 다음에 저 작업 실행해줘

학습 목표

Task 의존성의 다양한 패턴을 이해한다 실무 ETL 파이프라인의 구조를 파악한다

"선배, 이 작업 순서가 이해가 안 돼요"

ETL 파이프라인을 인수인계받았다.

에디터 로딩 중...

"orders랑 products를 동시에 처리하다가 마지막에 합쳐서 리포트 만드는 거야"

질문:

  • "동시에"는 어떻게 표현하지?
  • "합친다"는 어떻게 표현하지?

의존성의 3가지 패턴

1. 순차 실행 (Sequential)

에디터 로딩 중...

A가 끝나야 B, B가 끝나야 C.

에디터 로딩 중...

2. 병렬 실행 (Parallel)

에디터 로딩 중...

A가 끝나면 B와 C가 동시에 실행.

에디터 로딩 중...

3. 합류 (Join)

에디터 로딩 중...

A와 B가 모두 끝나야 C 실행.

에디터 로딩 중...

실무 ETL 전체 구조

에디터 로딩 중...

"orders와 products를 병렬로 처리하고, 둘 다 끝나면 리포트 생성"

오늘 이걸 직접 구현해보자.