pyspark 설정을 사용하여 python 스크립트를 실행하십시오.

Question

spark-defaults.conf, xml 파일 : core-site.xml, hive-site.xml에 환경 변수를 내 보냈습니다. 다음

$ pyspark --master yarn 

과 : 나는 pyspark 콘솔을 실행하면

>>> sqlContext.sql("show tables").show() 

모든 것이 정확하지만 나는 순수 파이썬 인터프리터를 사용할 때 내 테이블을 볼 수 없습니다.

from pyspark import SparkContext, SparkConf 
from pyspark.sql import SQLContext 
conf = SparkConf().setMaster("yarn-client") 
sc = SparkContext(conf=conf) 
sqlContext = SQLContext(sc) 
sqlContext.sql("show tables").show() 

어떻게 모든 설정 파일을 볼 수 있습니까?

Answer 1

필자가 PySpark Shell을 실행할 때 Spark가 Hive를 지원하는 것으로 인스턴스화되었으므로, 기본값은 SQLContext 인 HiveContext입니다.

그러나 파이썬 프로그램이나 Python 인터프리터를 실행하는 중에는 SQLContext에 Hive 지원이 제공되지 않습니다.

를 해결하려면이

sqlCtx = HiveContext(sc) 
sqlCtx.sql("show tables").show()