2016-07-05 2 views
1

원사에 스파크 제출을하고 있는데 오류가 발생합니다. 내가 잘못하고있는 어떤 단서?원사에 대한 스파크 제출 YarnConfiguration.useHttps NoSuchMethodError

16/07/05 14시 21분 49초 정보 spark.SparkContext은 : 실패 (DIAG 메시지와 함께 등록 해제 ApplicationMaster : 성공적으로 SparkContext 16/07/05 14시 21분 49초 정보 yarn.ApplicationMaster를 중지 사용자 클래스는 예외를 던졌다 : java.lang.NoSuchMethodError : org.apache.hadoop.yarn.conf.YarnConfiguration.useHttps (Lorg/apache/hadoop/conf/Configuration;) Z) 16/07/05 14:21:49 정보 remote.RemoteActorRefProvider $ RemotingTerminator : 원격 데몬을 종료합니다. 16/07/05 14:21:49 정보 remote.RemoteActorRefProvider $ RemotingTerminator : 원격 데몬 종료; 원격 전송을 플러시하는 것으로 진행합니다. 16/07/05 14:21:49 정보 impl.AMRMClientImpl : 응용 프로그램이 등록 해제되기를 기다리는 중입니다. 16/07/05 14:21:49 INFO remote.RemoteActorRefProvider $ RemotingTerminator : 원격 종료.

답변

0

나는 많은 어려움을 겪은 후에 스파크를 포함하는 모든 종속성을 지닌 uber jar를 만들고 있었다. 종속성없이 패키지를 빌드하고 스파크 제출 중에 종속 jar가 --jars로 추가되면 문제가 해결됩니다. NoSuchMethodError 나 ClassNotFoundException 같은 문제는 대부분이 방법으로 해결할 수 있습니다.

관련 문제