25분
청크 처리 기본 패턴
Day 1: 1GB CSV 열었더니 컴퓨터가 멈췄다
청크 처리 기본 패턴
pandas 고급 & 대용량 데이터 처리 > Day 1: 1GB CSV 열었더니 컴퓨터가 멈췄다
학습 목표
chunksize를 사용한 대용량 파일 처리를 구현한다 청크별 집계와 결과 합치기를 수행한다
청크 처리 기본 패턴 실습
50만 행 데이터를 청크로 처리하며 category별 매출을 집계합니다.
패턴 1: 합계/개수 집계
에디터 로딩 중...
패턴 2: 그룹별 집계
에디터 로딩 중...
요구사항
- chunksize=100,000으로 파일 읽기
- 각 청크에서 category별 amount 합계/개수 계산
- 청크 결과들을 합쳐서 최종 집계
에디터 로딩 중...
정답 보기
에디터 로딩 중...