Day 1 점검 | Apache Spark: 대용량 데이터 처리의 시작 | FDE Academy

Q1. pandas가 10GB 파일 처리에 실패하는 주된 이유는?

A. Python이 느려서B. 모든 데이터를 메모리에 올려야 해서C. CSV 파일을 지원하지 않아서D. 10GB 파일은 읽을 수 없어서

Q2. Spark에서 실제 데이터 처리를 담당하는 컴포넌트는?

A. DriverB. ExecutorC. SparkContextD. DAG Scheduler

Q3. 다음 중 Action이 아닌 것은?

A. show()B. count()C. filter()D. collect()

Q4. Lazy Evaluation의 장점이 아닌 것은?

A. 실행 계획 최적화 가능B. 불필요한 연산 생략C. 디버깅이 쉬움D. 필요한 컬럼만 읽기

Q5. 대용량 DataFrame을 pandas로 변환하면 안 되는 이유는?

A. pandas가 Spark보다 느려서B. toPandas()가 모든 데이터를 Driver 메모리로 가져와서C. pandas가 Parquet을 지원하지 않아서D. 타입 변환에 문제가 생겨서