첫 번째 데이터 파이프라인, 그리고 대참사

"이 데이터 DB에 넣어줘"

간단해 보였다. CSV 파일 읽어서 DB에 INSERT 하면 끝이라고 생각했다.

30분 후, 슬랙이 폭발했다.

"왜 나이가 -50인 고객이 있어요?" "이메일이 NULL인데 회원가입이 됐어요?" "금액이 문자열로 들어갔어요!"

---

데이터는 더럽다

실무 데이터는 교과서처럼 깨끗하지 않다.

예상	현실
age: 25	age: -50, "N/A", null
email: user@example.com	email: "", null, "없음"
price: 19900	price: "19,900원", null
status: "active"	status: "ACTIVE", "active ", "활성"

DB에 들어가기 전에 검증이 필요하다. 이상한 데이터는 걸러내거나 수정해야 한다.

그 역할을 하는 것이 바로 조건문이다.

---

조건문이 없다면?

조건문 = 데이터의 파수꾼

오늘은 이 파수꾼을 제대로 훈련시킨다.