40분
Phase 3: 실시간 이상 탐지
Weekly Project: 실시간 이커머스 파이프라인
Phase 3: 실시간 이상 탐지
Spark 심화: Streaming & Delta Lake > Weekly Project: 실시간 이커머스 파이프라인
학습 목표
이상 탐지 규칙을 구현한다 alerts 테이블에 저장한다 여러 스트리밍 쿼리를 동시에 실행한다
Phase 3: 이상 탐지
고액 주문을 실시간으로 탐지하여 alerts 테이블에 저장합니다.
이상 탐지 규칙
규칙 1: 고액 주문
- 조건: amount > 5000
- 알림 유형: HIGH_VALUE
- 사유: "단일 주문 금액 과다"
구현 순서
- fact_orders 스트림 읽기
- 고액 주문 필터링
- alert 형식으로 변환
- alerts 테이블에 저장 (Append)
에디터 로딩 중...
힌트 보기
- • filter(F.col("amount") > 5000)로 고액 주문 필터링
- • F.current_timestamp()로 현재 시각 생성
- • F.lit("값")으로 고정 값 컬럼 생성
- • Append 모드는 필터링된 새 행만 저장
- • 집계 없는 변환은 Append 모드 사용
정답 보기
에디터 로딩 중...