생성자 ClientArguments (String [], SparkConf)가 정의되지 않았습니다.

Question

자바 코드를 통해 spark-submit을 시도 중입니다. 나는 다음의 예를 언급하고있다.

https://github.com/mahmoudparsian/data-algorithms-book/blob/master/misc/how-to-submit-spark-job-to-yarn-from-java-code.md

하지만 스파크 실의 내 버전

The constructor ClientArguments(String[], SparkConf) is undefined 

을 얻고는 spark-yarn_2.11-2.0.0입니다.

나는 주제 보았다
spark-submit through java code

을하지만 나를 위해 작동하지 않습니다. 도움이 되었습니까?

Answer 1

생성자 인수가 1.x와 2.0 사이에서 변경되었습니다. 1.x에서 그것은 보였다 같은 : 2.0

ClientArguments(args: Array[String], sparkConf: SparkConf)

의 :

ClientArguments(args: Array[String])

참조 : https://github.com/apache/spark/blob/branch-2.0/yarn/src/main/scala/org/apache/spark/deploy/yarn/ClientArguments.scala