Spark에서 지원되는 다양한 파일/데이터 형식

Question

어딘가에 아래 코드가 나타났습니다. com.databricks.spark.csv이 Databricks에 의해 지원되는 파일 형식은 같은

sqlContext.read.format("com.databricks.spark.csv") 

보인다. 나는

Answer 1

스파크는 하둡 에코 시스템에 의해 지원하는 모든 포맷을 지원하는 모든 파일/데이터 형식 (전 2.0.0) 아파치 스파크에서 기본적으로 지원되는 알고 싶어요. 아래 형식은 spark에서 잘 작동합니다.

1.textfile는

2.sequencefile

3.json

4.avro는 (가볍고 빠른 직렬화/역 직렬화)

5.parquet은 (열 배향 나은 압축을 준다 비율)