15분
CSV 파일 1000개, 어떻게 처리하지?
Day 4: 파일 I/O - 대량 데이터 처리
CSV 파일 1000개, 어떻게 처리하지?
Python 기초 2: 함수, 클래스, 모듈, 파일 > Day 4: 파일 I/O - 대량 데이터 처리
학습 목표
파일 I/O가 데이터 엔지니어링에서 필수인 이유를 안다 자동화의 가치를 이해한다
어느 날의 업무
"여기 폴더에 CSV 파일 1000개 있어. 각 파일에서 매출 합계 뽑아서 엑셀로 정리해줘."
손으로 하면?
- 파일 열기 -> 엑셀 열기 -> 합계 복사 -> 1000번 반복
- 예상 시간: 8시간+
Python으로 하면?
에디터 로딩 중...
10줄, 10초.
데이터 엔지니어의 일상
에디터 로딩 중...
파일 I/O를 모르면 데이터 엔지니어링을 할 수 없다.
오늘 배울 것
- 텍스트 파일 - 기본 읽기/쓰기, with 문
- CSV 파일 - csv 모듈로 테이블 데이터 처리
- JSON 파일 - API 응답, 설정 파일 처리
- 예외 처리 - 파일 없을 때, 권한 문제 대응
- 실전 예제 - 대량 파일 처리 자동화
이걸 알면 반복 작업에서 해방된다.