Zeppelin : Python 파일에 Python 파일을 추가하는 방법

나는 Spark with yarn을 사용하여 제플린을 실행 중입니다. 옵션 --py-files (SPARK_SUBMIT_OPTIONS)는 제플린에서 작동하지 않습니다. zeppelin에 --py-files를 대체 할 수 있습니까?Zeppelin : Python 파일에 Python 파일을 추가하는 방법

참고 : --files 옵션을 사용하여 파일을 업로드 할 수 있지만 PYTHONPATH에 파일을 추가하지 않습니다. 그러므로 나는 zeppelin에서 --py-files에 대한 대안이 필요하다.

출처

2017-03-28 Santosh Kumar

저는 Zeppelin에 익숙하지 않지만 문맥 상 addPyFile 메서드를 사용하여 --py-files 메서드를 사용할 수 있습니다 (https://spark.apache.org/docs/1.6.1/api/python/pyspark.html 참조). HTH

출처

2017-03-29 06:34:43

파이썬 파일을 클러스터의 모든 노드에 복제 한 다음 제 플 린을 시작하는 동안 그에 따라 PYTHONPATH를 업데이트하여 문제를 해결할 수있었습니다. –

https://stackoverflow.com/questions/40808064/pyspark-append-executor-environment-variable – mathtick

Zeppelin : Python 파일에 Python 파일을 추가하는 방법

답변

관련 문제