30분

REST API에서 데이터 가져오기

Day 2: 데이터 수집 파이프라인

학습 목표

REST API에서 데이터를 추출할 수 있다 페이지네이션을 처리할 수 있다 재시도(Retry) 로직을 구현할 수 있다

미션: RESTAPIExtractor 구현

외부 REST API에서 데이터를 추출하는 Extractor를 만드세요.

요구사항

페이지네이션 처리
- offset/limit 방식
- cursor 방식
재시도 로직
- 일시적 오류 시 최대 3회 재시도
- 지수 백오프 적용
Rate Limiting
- 요청 간 딜레이
- 429 응답 시 대기

에디터 로딩 중...

힌트 보기

• requests의 Session을 재사용하면 성능이 향상된다
• Retry 클래스로 재시도 전략을 설정할 수 있다
• backoff_factor=1이면 1초, 2초, 4초 간격으로 재시도한다
• 429 응답은 Rate Limit을 의미하며, Retry-After 헤더를 확인해야 한다

정답 보기

에디터 로딩 중...