spark 2.1.0에서 python 파일을 spark-submit하는 방법은 무엇입니까?

Question

현재 spark 2.1.0을 실행 중입니다. 나는 PYSPARK 셸에서 대부분의 시간을 일했지만 파이썬 파일 (spark-submit java와 비슷한)을 spark-submit해야한다. 어떻게 파이썬에서 그렇게합니까?

Answer 1

pythonfile.py

from pyspark.sql import SparkSession 
spark = SparkSession.builder.appName("appName").getOrCreate() 
sc = spark.sparkContext 
rdd = sc.parallelize([1,2,3,4,5,6,7]) 
print(rdd.count()) 

당신이 원하는 구성으로 위의 프로그램을 실행 예 :

YOUR_SPARK_HOME/bin/spark-submit --master yourSparkMaster --num-executors 20 \ 
     --executor-memory 1G --executor-cores 2 --driver-memory 1G \ 
     pythonfile.py 

이 옵션은 필수하지 않습니다. 같이 달릴 수도 있습니다

YOUR_SPARK_HOME/bin/spark-submit --master sparkMaster/local pythonfile.py