spark-submit scala, ClassNotFoundException

Question

나는 스칼라 애플리케이션을 실행하려고하는데 스파크 셸에서는 이것이 잘 동작한다. 그러나 spark-submit을 사용할 때 클래스를 사용하면 실패합니다.

spark-submit --deploy-mode cluster --master yarn --class org.apache.spark.examples.SparkPi s3n://bucket/test.scala 

Applicacion :

package org.apache.spark.examples 

import org.apache.spark.sql.types._ 
import org.apache.spark.sql.SQLContext 

object SparkPi { 
    def main(args: Array[String]) { 
    val conf = new SparkConf().setAppName("Simple Application") 
    val sqlContext = new org.apache.spark.sql.SQLContext(sc) 

    print("test") 

    } 
} 

오류 : test.scala 소스를 사용하여 단지를 구축하고 스파크 제출에 대한 인수로 제공하는

Final app status: FAILED, exitCode: 10, (reason: Uncaught exception: java.lang.ClassNotFoundException: org.apache.spark.examples.SparkPi)

Answer 1

보십시오. 스파크 제출 (spark-submit)에서는 소스 코드 자체가 아닌 컴파일 된 코드로 항아리를 지정해야합니다.