저는 Spark와 Scala를 처음 사용 했습니다만, 이것은 중복/어리석은 질문이 아니기를 바랍니다. 아직 답을 찾을 수 없었습니다.--class 인수없이 spark-submit 사용하기
sbt-assembly 도구를 사용하여 팻 항아리를 컴파일했으며 MANIFEST 파일에 MainClass: com.package.MyMainClass 행이 있습니다. 그러나 spark-submit은 여전히 --class 인수를 사용하여 메인 클래스를 정의 할 것을 요구합니다. this Spark configuration page에서 나는 spark-submit이 conf/spark-defaults.conf 파일에서 구성 세부 사항을 얻는 것을 모았습니다. 내 다른 속성 (spark.master, spark.app.name) 명령 줄 인수없이 잘로드 할 것으로 보이지만이 파일에서 프로젝트의 주 클래스를 지정하는 방법을 찾을 수 없습니다. 나는 무작위로 spark.classmain.class과 단지 class과 같은 것을 시도했지만 분명히 어둠 속에서 찌르는 것은 그렇게 잘되지 않습니다.
아이디어가 있으십니까? spark-submit MyJar.jar이 매우 깨끗한 경우 응용 프로그램을 클러스터에 배포하기 위해 정말 못생긴 스크립트가 필요하지 않습니다. 감사. 나는이 테스트를하지 않은
mainClass = jar.getManifest.getMainAttributes.getValue("Main-Class")
하지만 홈페이지 '와'MainClass '을 교체하려고 : org.apache.spark.deploy.SparkSubmitArguments.scalahere의 소스 코드를 보면