jupyter notebook interferes with spark 제출

Question

내 OS X에 사전 빌드 된 Hadoop과 Jupyter Notebook이있는 PySpark가 통합 된 Spark가 설치되었습니다. 기본적으로 "Pyspark"를 내 터미널 Jupyter Notebook에 입력합니다. 모든 것이 잘 작동합니다.

spark-submit --master local[*] --total-executor-cores 1 --driver-memory 2g server.py 

내가 오류가 발생했습니다 : 나는 다음과 같은 명령을 스파크 SUMIT을 사용하는 경우

는 그러나

jupyter: '/Users/XXX/some_path/server.py' is not a Jupyter command 

는 Jupyter이 불꽃 SUMIT 방해 보인다. 내 bash_profile은 다음과 같습니다.

export PATH="/Users/XXX/anaconda/bin:$PATH" 
export PATH="/Users/XXX/Spark/spark-2.0.2-bin-hadoop2.6/bin:$PATH" 
export SPARK_HOME="/Users/XXX/Spark/spark-2.0.2-bin-hadoop2.6" 
export PYSPARK_PYTHON=/Users/XXX/anaconda/bin/python2.7 
export PYSPARK_DRIVER_PYTHON=/Users/XXX/anaconda/bin/jupyter 
export PYSPARK_DRIVER_PYTHON_OPTS='notebook' 

이것이 내 환경 변수의 문제라는 것을 알고 있습니다. 마지막 두 줄을 삭제하면 작동합니다. 이 질문에 대한 대답은 Submitting Python Application with Apache Spark Submit이었고 그 중 아무 것도 내 경우에는 효과가 없었습니다. 또한 제출하기 전에 누군가 PYSPARK_DRIVER_PYTHON과 PYSPARK_DRIVER_PYTHON_OPTS을 설정하지 않았다.

pyspark을 입력 할 때 Jupyer Notebook을 사용할 수있는 환경 변수를 설정하는 더 좋은 방법이 있습니까? spark-submit도 사용할 수 있습니까?

어떤 아이디어라도 도움이됩니다.

Answer 1

물론, 콘텐츠와 스크립트를 만들 수 있습니다 어딘가에 내 장소를

$!/usr/bin/bash 
export PYSPARK_DRIVER_PYTHON=/Users/XXX/anaconda/bin/jupyter 
export PYSPARK_DRIVER_PYTHON_OPTS='notebook' 
exec pyspark 

을 그리고 pyspark-jupyter 이름 배시의 $PATH 당신이 예상대로 작동합니다.