🏆30분
Daily Challenge: 메모리 효율적 데이터 로더
Day 1: 1GB CSV 열었더니 컴퓨터가 멈췄다
Daily Challenge: 메모리 효율적 데이터 로더
pandas 고급 & 대용량 데이터 처리 > Day 1: 1GB CSV 열었더니 컴퓨터가 멈췄다
학습 목표
모든 최적화 기법을 통합한 데이터 로더를 구현한다 자동 dtype 추론과 청크 처리를 결합한다
요구사항
CSV와 Parquet 모두 지원
파일 크기 기반 chunksize 자동 계산
dtype 자동 최적화
청크 단위 처리 함수 지원
평가 기준
- • 기능 완성도: 모든 요구사항 구현
- • 코드 품질: 타입 힌트, 문서화
- • 테스트: 정상 동작 확인
보너스
- • 메모리 사용량 모니터링 추가
- • 진행률 표시 기능
- • 에러 처리 및 로깅
Daily Challenge
모든 최적화 기법을 통합한 SmartDataLoader 클래스를 구현하세요.
요구사항
- 자동 dtype 최적화: 정수, 실수, 문자열 자동 변환
- chunksize 자동 계산: 파일 크기 기반
- CSV/Parquet 자동 감지: 확장자로 판단
- 청크 단위 처리 지원: load_chunked() 메서드
클래스 구조
에디터 로딩 중...