HiveContext createDataFrame이 pySpark (jupyter)에서 작동하지 않습니다.

Question

Jupyter 노트북을 사용하여 pySpark에 대한 분석을하고 있습니다. 내 코드는 원래 sqlContext = SQLContext (sc)을 사용하여 데이터 프레임을 만들었지 만 이제는 윈도우 기능을 사용하기 때문에 HiveContext으로 전환했습니다.

내 문제는 dataframe을 만들려고 할 때 지금은 자바 오류 받고 있어요 것입니다 :이 후

## Create new SQL Context. 
from pyspark.sql import SQLContext 
from pyspark.sql import DataFrame 
from pyspark.sql import Window 
from pyspark.sql.types import * 
import pyspark.sql.functions as func 

sqlContext = HiveContext(sc) 

은 내가 RDD에 내 데이터를 읽고, 내 DF에 대한 스키마를 만들 수 있습니다. 이제

## After loading the data we define the schema. 
fields = [StructField(field_name, StringType(), True) for field_name in data_header] 
schema = StructType(fields) 

, 나는 DF를 빌드 할 때이 내가 오류입니다 :

## Build the DF. 
data_df = sqlContext.createDataFrame(data_tmp, schema) 

--------------------------------------------------------------------------- 
TypeError         Traceback (most recent call last) 
... 
/home/scala/spark-1.6.1/python/pyspark/sql/context.pyc in _get_hive_ctx(self) 
    690 
    691  def _get_hive_ctx(self): 
--> 692   return self._jvm.HiveContext(self._jsc.sc()) 
    693 
    694  def refreshTable(self, tableName): 

TypeError: 'JavaPackage' object is not callable 

지금까지 운없이 인터넷 검색을 한이. 어떤 조언을 크게 주시면 감사하겠습니다.

Answer 1

HiveContext 하이브를 지원하는 바이너리 빌드가 필요합니다. Hive 프로필을 활성화해야 함을 의미합니다. 당신이 사용하기 때문에 sbt assembly 당신은 적어도 필요

예를 들어, 메이븐으로 빌드 할 때 같은이 필요

sbt -Phive assembly 

:

mvn -Phive -DskipTests clean package