35분

PostgreSQL에서 데이터 가져오기

Day 2: 데이터 수집 파이프라인

학습 목표

PostgreSQL에서 데이터를 추출할 수 있다 증분 추출(Incremental Extract) 패턴을 구현할 수 있다

미션: PostgreSQLExtractor 구현

PostgreSQL에서 데이터를 추출하는 Extractor를 만드세요.

요구사항

Full Extract (전체 추출)
- 테이블 전체 데이터 가져오기
Incremental Extract (증분 추출)
- 마지막 추출 이후 변경된 데이터만 가져오기
- updated_at 컬럼 기준
검증 로직
- 필수 컬럼 존재 확인
- 데이터 건수 > 0 확인
- Primary Key 중복 없음 확인

에디터 로딩 중...

힌트 보기

• psycopg2.connect()의 with문은 자동으로 커밋/롤백을 처리한다
• pd.read_sql()은 SQL 결과를 DataFrame으로 바로 변환한다
• Incremental 추출 시 인덱스가 있어야 성능이 좋다
• ValidationError는 명확한 메시지와 함께 발생시키자

정답 보기

에디터 로딩 중...