15분
드디어 혼자 해볼 시간
Day 1: 처음부터 끝까지 혼자 만들어봐
드디어 혼자 해볼 시간
Phase 1 캡스톤: E2E 데이터 파이프라인 > Day 1: 처음부터 끝까지 혼자 만들어봐
학습 목표
캡스톤 프로젝트의 목적을 이해한다 E2E 파이프라인의 전체 구조를 파악한다
드디어 혼자 해볼 시간
"7주 동안 배웠으니까, 이제 처음부터 끝까지 혼자 만들어봐."
팀장이 빈 폴더 하나를 던져줬다. Python, Pandas, SQL, Spark, Airflow... 다 배웠는데 막상 "처음부터 만들어"라고 하니까 뭐부터 해야 할지 모르겠다.
이게 현실이다. 부품은 알아도 조립을 못 하면 소용없다.
왜 캡스톤인가?
지금까지 배운 건 "부품"이다.
| 주차 | 배운 것 | 비유 |
|---|---|---|
| Week 1-2 | Python, Pandas | 엔진 |
| Week 3 | SQL | 연료 시스템 |
| Week 4 | 데이터 모델링 | 설계도 |
| Week 5-6 | Spark, Delta Lake | 고속 엔진 |
| Week 7 | Airflow | 자동 조종 장치 |
부품을 다 갖고 있어도 조립을 못 하면 차가 안 굴러간다. 캡스톤은 이 모든 부품을 하나로 조립하는 과정이다.
이번 주에 만들 것
SaaS 분석 플랫폼의 E2E 데이터 파이프라인
에디터 로딩 중...
5일간의 여정:
- Day 1: 프로젝트 설계 (오늘)
- Day 2: 데이터 수집 파이프라인
- Day 3: Spark 변환 파이프라인
- Day 4: Airflow 오케스트레이션
- Day 5: 통합 테스트 & 발표
시작하자.