지역 스파크에서 하이브 - 설정하는 방법?

Question

저는 롤아웃 전에 Spark 코드를 테스트하기 위해 Windows x64에 로컬로 설치된 Spark를 사용하고 있습니다. 윈도우 함수를 사용하고 싶습니다.하지만 HiveContext를 사용해야합니다. Maven에서 종속성을 설정했지만, Spark에서 실행할 때 The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: --------- 하이브 설정이 없습니다. Spark를 로컬에서 HiveContext와 함께 사용하려면 어떻게해야합니까? 나는 그것을하는 방법에 대한 이해할 수있는 가이드를 찾을 수 없습니다, 제발 도와주세요!

[편집] 코드 :

WindowSpec window = Window.partitionBy(df.col("id")).orderBy(df.col("date").desc()).rowsBetween(0, 10); 
Column col = avg(df.col("price")).over(window).as("price"); 
df = df.withColumn("price", price); 

감사합니다!

Answer 1

Windows에서 Hive가 제대로 지원되지 않으므로 Hortonworks VM으로 끝났습니다.