pip 설치 후 pyspark 실행하기 pyspark

Question

pyspark을 가정용 컴퓨터에 설치하고 싶습니다. 나는했다

pip install pyspark 
pip install jupyter 

둘 다 잘 작동하는 것처럼 보였다.

하지만 pyspark를 실행하려고하면 나는

pyspark 
Could not find valid SPARK_HOME while searching ['/home/user', '/home/user/.local/bin'] 

SPARK_HOME 어떻게 설정해야 얻을?

Answer 1

PyPi의 Pyspark (즉, pip과 함께 설치됨)에는 전체 Pyspark 기능이 포함되어 있지 않습니다. 이것은 이미 존재하는 클러스터에있는 Spark 설치에서만 사용하기위한 것입니다. docs :

스파크 용 파이썬 패키지는 다른 모든 사용 사례를 대체하기위한 것이 아닙니다. 이 Python 패키지 버전의 Spark는 기존 클러스터 (Spark standalone, YARN 또는 Mesos)와의 상호 작용에 적합하지만 독립형 Spark 클러스터를 설정하는 데 필요한 도구는 포함되어 있지 않습니다. Spark의 전체 버전은 Apache Spark downloads 페이지에서 다운로드 할 수 있습니다.

참고 : 당신이 불꽃 독립형 클러스터로 이것을 사용하는 경우 (부 버전 포함) 버전이 일치하는지 확인해야하거나 경험 이상한 오류

당신은 전체 불꽃을 다운로드해야합니다 수를 설명 된 바와 같이 분포가 here입니다.