15

CSV 파일 1000개, 어떻게 처리하지?

Day 4: 파일 I/O - 대량 데이터 처리

학습 목표

파일 I/O가 데이터 엔지니어링에서 필수인 이유를 안다 자동화의 가치를 이해한다

어느 날의 업무

"여기 폴더에 CSV 파일 1000개 있어. 각 파일에서 매출 합계 뽑아서 엑셀로 정리해줘."

손으로 하면?

  • 파일 열기 -> 엑셀 열기 -> 합계 복사 -> 1000번 반복
  • 예상 시간: 8시간+

Python으로 하면?

에디터 로딩 중...

10줄, 10초.


데이터 엔지니어의 일상

에디터 로딩 중...

파일 I/O를 모르면 데이터 엔지니어링을 할 수 없다.


오늘 배울 것

  1. 텍스트 파일 - 기본 읽기/쓰기, with 문
  2. CSV 파일 - csv 모듈로 테이블 데이터 처리
  3. JSON 파일 - API 응답, 설정 파일 처리
  4. 예외 처리 - 파일 없을 때, 권한 문제 대응
  5. 실전 예제 - 대량 파일 처리 자동화

이걸 알면 반복 작업에서 해방된다.