pySpark : 값 % % pyspark

Question

이

내가 webbroswer에서 Zepplin 노트북을 열고

%pyspark 

에 입력 한 노트북을 만들어와 내가 함께 Zepplin 노트북과 EMR에 불꽃 클러스터를 사용하고

GET 오류

<console>:26: error: not found: value % %pyspark 

Zepplin에서 어떻게 pyspark를 사용할 수 있습니까? 나는 여기서 무엇을 잘못 했는가?

Answer 1

zeppelin.python 속성을 확인하십시오. 기본 시스템 파이썬과 Zeppelins 'Python이 버전에 충돌이있을 수 있습니다.

시도는 .bashrc에

export PYSPARK_PYTHON=/home/$USER/path/to/your/default/system/python 

Answer 2

이 줄을 추가하기는 settig에게 SPARK_HOME를 놓친 것하지만이 사건 밤은 경우 라이브러리 https://github.com/minrk/findspark/blob/master/README.md

가져 오기 findspark findspark.find (경로를 findspark 사용할 수 있습니다 spark folder)

또는 pyspark 2.2를 사용하려는 경우 직접 pip install pyspark

을 수행 할 수 있습니다.

그리고 위의 라인이 오류가 발생하는 경우 IDE 또는 시스템 변수 이러한 환경 변수를 설정 sudo를

Answer 3

export PYSPARK_PYTHON=/home/user/anaconda3/bin/python 
export PYSPARK_DRIVER_PYTHON=jupyter 
export PYSPARK_DRIVER_PYTHON_OPTS='notebook' 

Answer 4

으로 시도

SPARK_HOME = <path to spark home> 

PYSPARK_SUBMIT_ARGS = "--master local[2] pyspark-shell" 

PYTHONPATH = %SPARK_HOME%\python;%SPARK_HOME%\python\build;%PYTHONPATH%;