10분

대용량 처리 흔한 실수

Day 1: 1GB CSV 열었더니 컴퓨터가 멈췄다

학습 목표

대용량 데이터 처리 시 흔한 실수를 파악한다 실수를 피하는 방법을 익힌다

실수 1: 전체 로드 후 필터링

에디터 로딩 중...

실수 2: 결과 리스트에 전체 청크 저장

에디터 로딩 중...

실수 3: 중앙값을 청크별로 계산

에디터 로딩 중...

실수 4: usecols 미사용

에디터 로딩 중...

체크리스트

항목	확인
usecols로 필요 컬럼만 읽었나?	[ ]
dtype을 지정했나?	[ ]
chunksize가 적절한가?	[ ]
결과만 저장하고 원본은 해제했나?	[ ]
중앙값/분위수는 근사치 사용했나?	[ ]