HiveContext 스파크 - AnalysisException : 'first_value'창 함수를 확인할 수 없습니다.

Question

first이이 용도로 잘못 된 무엇입니까? 그러나 나는이 오류를 반환, 내 dataframe의 각 id의 첫 번째 행을 먹고 싶어 :

Exception in thread "main" org.apache.spark.sql.AnalysisException: Could not resolve window function 'first_value'. Note that, using window functions currently requires a HiveContext; 

코드는 다음과 같습니다 나는 HiveContext을 사용하고

WindowSpec window = Window.partitionBy(df.col("id")); 
df= df.select(first(df.col("*")).over(window)); 

.

Answer 1

SparkContext 또는 HiveContext를 사용하여 스파크 데이터 프레임을 읽거나 만들었습니까? 윈도우 함수는 HiveContext가

를 사용하는 데 필요한 여기

더 자세히 : Window function is not working on Pyspark sqlcontext