Spark SQL Zeppelin 쿼리 결과 저장/내보내기

Question

우리는 데이터 세트 분석을 위해 apache zeppelin을 사용하고 있습니다. 우리는 우리가 실행하고자하는 쿼리를 많이 가지고 있으며 그 결과가 돌아오고 zeppelin에서 쿼리를 실행하지만 결과를 저장하고 싶습니다 (디스플레이는 1000으로 제한됩니다). 제플린을 얻을 수있는 쉬운 방법이 s3 버킷에 대한 쿼리의 모든 결과를 저장합니까?

Answer 1

필자는 스칼라 인터프리터를 사용하여 효과적으로 원하는 노트를 정리할 수있었습니다.

z.load("com.databricks:spark-csv_2.10:1.4.0") 
val df= sqlContext.sql(""" 
select * from table 
""") 

df.repartition(1).write 
    .format("com.databricks.spark.csv") 
    .option("header", "true") 
    .save("s3://amazon.bucket.com/csv_output/") 

그것 z.load 기능이 날 하루 동안 작동하는 듯하지만 그때, 내가 다시 시도하고 어떤 이유로 내가 % 출발 인터프리터 자체 단락에 선언해야한다고 언급 할 가치가 표준 스칼라 인터프리터의 나머지 코드