10분
주간 회고 및 다음 단계
Day 5: NYC 택시 데이터 분석 프로젝트
주간 회고 및 다음 단계
pandas 고급 & 대용량 데이터 처리 > Day 5: NYC 택시 데이터 분석 프로젝트
학습 목표
이번 주 학습 내용을 정리한다 다음 학습 방향을 파악한다
이번 주 배운 것
Day 1: 대용량 데이터 처리
- 청크 처리로 메모리 문제 해결
- dtype 최적화로 50-90% 메모리 절약
- Parquet으로 10배 빠른 I/O
Day 2: 데이터 구조화
- MultiIndex로 계층적 데이터 관리
- pivot_table로 교차 분석
- melt로 Wide ↔ Long 변환
Day 3: 성능 최적화
- 벡터화로 1000배 빠르게
- apply 대신 transform/agg
- eval/query로 메모리 절약
Day 4: Polars
- Rust 기반 고성능 DataFrame
- Lazy Evaluation으로 최적화
- pandas와 상호운용
Day 5: 실전 프로젝트
- 모든 기술 통합 적용
- 비즈니스 인사이트 도출
- 리포트 자동화
체크리스트
| 항목 | 상태 |
|---|---|
| 청크 처리 이해 | [ ] |
| dtype 최적화 | [ ] |
| MultiIndex 활용 | [ ] |
| pivot_table/melt | [ ] |
| 벡터화 연산 | [ ] |
| Polars 기본 | [ ] |
| 성능 측정 | [ ] |
| 인사이트 도출 | [ ] |
다음 단계
추천 학습 경로
- 데이터 시각화 (matplotlib, seaborn, plotly)
- SQL과 pandas 연동
- 대규모 처리 (Dask, Spark)
- ML 파이프라인 (scikit-learn + pandas)
추천 리소스
마무리
"도구는 배웠다. 이제 실전이다."
이번 주 배운 기술들은 실무에서 매일 사용하는 것들입니다. 꾸준히 연습하고, 자신만의 분석 스타일을 만들어 가세요.