2016-07-08 3 views
0
내가 스파크와 특정 마루 파일에 읽을 필요가

, 나는이과 같이 수행 할 수 있습니다 알고 :패스 목록 [문자열] 스칼라

sqlContext 
    .read 
    .parquet("s3://bucket/key", "s3://bucket/key") 

을 지금 I 이 모든 s3 경로가 포함 된 List [String] 객체를 가지고 있지만 스칼라에서이 함수를 프로그래밍 방식으로 전달할 수있는 방법을 모르겠습니다. 수동으로 파일을 처리하는 방법은 많습니다. 파일을 마루 기능에 프로그래밍 방식으로 가져 오는 방법은 무엇입니까?

+3

당신은 _splat operator_ :'.parquet (listOfStrings : _ *)' – Dima

+0

을 찾고 있습니다. 정말로, 많이 감사합니다! – moku

답변

2

반복 매개 변수 here과 관련하여 비슷한 질문에 답했습니다. @Dima가 언급 한 바와 같이

, 당신은 때문에 .parquet 예상 반복 인수 플랫 (splat) 연산자를 찾고 있습니다 :

그것은 사양 Scala Language Specification seciton 4.6.2

에서 반복 인수에

sqlContext.read.parquet(listOfStrings:_*) 

더 비록 scala 2.9의 경우이 부분은 변경되지 않았습니다.