Day 4 점검 | Apache Spark: 대용량 데이터 처리의 시작 | FDE Academy

Q1. Python UDF가 느린 이유는?

A. Python이 원래 느려서B. JVM과 Python 사이 데이터 직렬화/역직렬화 오버헤드C. UDF가 복잡해서D. Spark가 UDF를 지원하지 않아서

Q2. Pandas UDF가 Python UDF보다 빠른 이유는?

A. Pandas가 더 빠른 언어라서B. 데이터를 배치로 처리해서 왕복 횟수가 줄어듦C. Catalyst 최적화가 적용되어서D. 병렬 처리가 되어서

Q3. UDF에서 None 처리를 안 하면 발생하는 문제는?

A. 성능 저하B. TypeError 또는 AttributeError로 작업 실패C. 결과가 모두 NoneD. 메모리 부족

Q4. UDF 내에서 외부 API를 호출하면 안 되는 이유는?

A. Spark가 API 호출을 지원하지 않아서B. 보안 문제C. 매 row마다 API 호출이 발생해서D. 인터넷 연결이 안 되어서

Q5. UDF 사용 시 가장 먼저 확인해야 할 것은?

A. Python 버전B. Built-in 함수로 가능한지C. 데이터 타입D. Spark 버전