Pyspark에서 속성 파일 읽기

Question

spark 1.6.0 응용 프로그램에서 .ini 개의 파일 (구성/속성 파일)을 읽고 싶습니다. 이를 위해 ConfigParser를 사용하여 등록 정보 파일을 읽습니다.

import ConfigParser 
import os 
config = ConfigParser.ConfigParser() 
config.read(os.path.join(os.path.dirname(__file__), 'config.ini')) 

print 'config sections : ', config.sections() 

결과적으로 빈 목록이 반환됩니다. 클라이언트와 클러스터 모드에서 내 작업을 제출하려고 시도했습니다. 양쪽 모두 작업을 실행하지 못합니다. 파일을 읽는 중 실수를하고있는 경우 알려 주시기 바랍니다.

Answer 1

설정 파일을 읽을 수 있습니다.

(파이썬 모듈과 config.ini 파일을 포함하는) 계란 파일에서 실행

spark-submit --master yarn --deploy-mode cluster --py-files conf/config.ini my_pyspark_script.py 

또는 경우 : 당신은 그냥 광고 난자에 코드를 패키지 또는시 설정 파일을 전달하거나 필요 같은 스파크 제출

spark-submit --master yarn --deploy-mode cluster files --py-files my.egg my_pyspark_script.py 
configFile = resource_filename(Requirement.parse("myapp"), "conf/config.ini") 
config = ConfigParser.ConfigParser() 
config.read(configFile)