10분
프로젝트 제출 가이드
Weekly Project: 실시간 이커머스 파이프라인
프로젝트 제출 가이드
Spark 심화: Streaming & Delta Lake > Weekly Project: 실시간 이커머스 파이프라인
학습 목표
제출 양식을 확인한다 평가 기준을 최종 확인한다
제출 체크리스트
필수 제출물
- main.py: 통합 파이프라인 코드
- README.md: 실행 방법, 결과 요약
- 스크린샷: 실행 결과 (터미널 출력)
선택 제출물
- config.py: 설정 분리
- Spark UI 스크린샷: Jobs, Stages, SQL 탭
- Time Travel 분석 결과
평가 기준 최종 확인
| 항목 | 배점 | 체크 |
|---|---|---|
| Phase 1: Rate Source → Delta | 30% | |
| Phase 2: Window 집계 | 25% | |
| Phase 3: 이상 탐지 | 25% | |
| 고급 기능 (보너스) | 10% | |
| 코드 품질 | 10% |
다음 주 예고
Week 7: Apache Airflow로 워크플로우 자동화
- Airflow 개념과 아키텍처
- DAG 작성법
- Spark Job 스케줄링
- 모니터링과 알림
이번 주에 만든 Spark 파이프라인을 Airflow로 자동화합니다!