🏆45분

Day 2 챌린지: Extractor 통합 테스트

Day 2: 데이터 수집 파이프라인

미션: Extraction Layer 완성하기

오늘 만든 3개의 Extractor를 통합하여 전체 추출 파이프라인을 완성하세요.

요구사항

  1. 모든 Extractor 실행

    • PostgreSQLExtractor: users, payments 테이블
    • S3JSONExtractor: events 로그
    • RESTAPIExtractor: 환율 정보

  2. 추출 결과 검증

    • 각 Extractor의 metrics 출력
    • 총 추출 건수 합계 계산

  3. 에러 처리

    • 하나가 실패해도 나머지는 계속 실행
    • 실패한 Extractor 목록 기록

  4. 로깅

    • 시작/종료 시간 기록
    • 각 단계별 소요 시간 측정

평가 기준

항목배점
3개 Extractor 정상 실행40점
에러 처리 (부분 실패 대응)25점
메트릭 수집 및 출력20점
코드 품질15점

힌트

에디터 로딩 중...
힌트 보기
ThreadPoolExecutor로 병렬 실행하면 시간을 단축할 수 있다
as_completed()는 완료된 순서대로 결과를 반환한다
datetime.now()로 시작/종료 시간을 측정할 수 있다
실패한 Extractor의 에러 메시지를 저장해두면 디버깅에 유용하다
이전다음