Spark이 pip 설치 후 pip 모듈을 가져올 수 없습니다.

로컬 컴퓨터에 boto3을 설치 한 다음 boto3에 설치된 경로를 전달하면서 로컬 모드에서 spark-submit을 실행했습니다. 다음 명령을Spark이 pip 설치 후 pip 모듈을 가져올 수 없습니다.

spark-submit --conf spark.driver.extraClassPath=/Library/Python/2.7/site-packages app.py

그리고 내 app.py에서 import boto3, 그것은 지칠대로 지친 module not found 오류가 발생합니다.

파이크 제출 작업에 파이썬이 설치된 파이썬 종속성을 추가하는 올바른 방법입니까?

출처

2016-08-26 Kristian

클러스터의 다른 모든 노드에'boto3'이 설치되어 있습니까? –

@ cricket_007 클러스터에 다른 노드가 없습니다. 이것이 단일 노드 로컬 모드입니다. 로컬 데스크톱 컴퓨터에서. – Kristian

그리고 PySpark 외부에서 그 파일을 실행할 수 있습니까? –

파이크에서 사용하는 파이썬과 pip_install의 파이썬 종속성을 포함하는 파이썬은 다릅니다. .bash_profile에서 PYSPARK_PYTHON 경로와 PYSPARK_DRIVER_PYTHON을 pip_installs가 포함 된 올바른 파이썬 경로로 설정하십시오. 쉘에있는 파이썬은 모든 pip_install 프로그램이 포함 된 경우

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.1.0/libexec 
    export PYTHONPATH=/usr/local/opt/python/bin/python2.7/:$PYTHONPATH$ 
    export PYSPARK_PYTHON=/usr/local/opt/python/bin/python2.7 
    export PYSPARK_DRIVER_PYTHON=/usr/local/opt/python/bin/python2.7

, 해당 경로에 PYSPARK_PYTHON 및 PYSPARK_DRIVER_PYTHON을 설정할 수 있습니다. 찾으십시오 here.

출처

2018-02-15 00:23:25 Derek

Spark이 pip 설치 후 pip 모듈을 가져올 수 없습니다.

답변

관련 문제