각 데이터 프레임 파티션의 첫 번째 요소 Spark 2.0

Question

각 데이터 프레임 파티션의 첫 번째 요소를 검색해야합니다. mapPartitions를 사용해야한다는 것을 알고 있지만 사용법이 명확하지 않습니다.

참고 : Spark2.0을 사용 중이며 데이터 프레임이 정렬됩니다.

Answer 1

나는 그것을 다음과 같이 보일 것이다 믿습니다

import org.apache.spark.sql.catalyst.encoders.RowEncoder 
... 
implicit val encoder = RowEncoder(df.schema) 
val newDf = df.mapPartitions(iterator => iterator.take(1)) 

이 DataFrame의 각 파티션에서 한 요소를 취할 것입니다. 그러면 운전자에게 모든 데이터를 수집 할 수 있습니다. 예 :

nedDf.collect() 

그러면 파티션 수와 동일한 수의 요소가있는 배열이 반환됩니다.

UPD 내가 여기 http://spark.apache.org/docs/latest/api/java/org/apache/spark/sql 메소드 서명에서 찾고 있어요 스파크 2.0