Spark Java 프로그램을 실행할 수 없습니다.

Java로 작성된 Spark 프로그램을 실행하고 있습니다. & 예제 wordcount 예제를 사용하고 있습니다. jar 파일을 만들었지 만 스파크 작업을 제출할 때 오류가 발생합니다.Spark Java 프로그램을 실행할 수 없습니다.

$ spark-submit --class WordCount --master local \ home/cloudera/workspace/sparksample/target/sparksample-0.0.1-SNAPSHOT.jar

난 당신이 도움이 될 수 있도록 나 또한 내 pom.xml 파일을 추가하고 아래의 오류

java.lang.ClassNotFoundException: wordCount 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366) 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358) 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:270) 
    at org.apache.spark.util.Utils$.classForName(Utils.scala:175) 
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:689) 
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181) 
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

에게 편집 을 얻고있다.

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 
    <modelVersion>4.0.0</modelVersion> 
    <groupId>com.igi.sparksample</groupId> 
    <artifactId>sparksample</artifactId> 
    <version>0.0.1-SNAPSHOT</version> 
    <dependencies> 
    <dependency> <!-- Spark dependency --> 
<groupId>org.apache.spark</groupId> 
<artifactId>spark-core_2.10</artifactId> 
<version>1.6.0</version> 
<scope>provided</scope> 
</dependency> 
<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-client</artifactId> 
    <version>2.6.0</version> 
</dependency> 
</dependencies> 
</project>

출처

2016-07-27 Anonymous

많은 조합을 시도한 후 R & D를 해결하면 문제가 해결됩니다. 문제가 명령을 제출 나의 불꽃에 있던 나는이

spark-submit --class com.xxx.sparksample.WordCount --master local /home/cloudera/workspace/sparksample/target/sparksample-0.0.1-SNAPSHOT.jar

로 변경하고 일했다.

출처

2016-07-27 10:46:59

음 ..... @ Binary Nerd와 나는 같은 것을 제안했습니다 : P –

Thanks @ ShubhamChaurasia. Upvoted 당신의 도움을 많이 주셔서 감사합니다. –

WordCount 클래스를 찾을 수 없습니다. 즉, 당신은 아마 클래스에 패키지를 포함해야합니다, 그래서 당신은 전체 클래스 경로를 가지고 : 당신이 게시

--class <PACKAGE>.WordCount

출처

2016-07-27 08:23:27

이클립스에서 프로젝트를 만드는 동안 어떤 패키지 이름도주지 않았다. 기본 패키지를 보여줍니다. –

Thanks @BinaryNerd –

오류가 불꽃에 문제가 표시되지 않습니다.

그러나 프로그램에 오타가 있어야합니다. Java는 을 찾고 ClassNotFoundException을 던졌으며, 대문자 인 WordCount이어야하며, 대문자 W가 있어야합니다.

클래스 이름과 수입을 확인하십시오.

출처

2016-07-27 08:26:02 grovina

이름을 WordCount로 변경했지만 문제가 해결되지 않아 동일한 오류가 발생합니다. –

spark-submit에 전달하는 클래스 이름 (단어 개수 또는 단어 개수 등)이 사용자가 정의한 것과 정확히 일치하는지 확인하십시오.
포장이 올바른지 확인하십시오.
확인하려면 jar 파일을 열거 나 압축을 풀고 클래스 이름과 패키지 계층 구조를 확인하십시오.

출처

2016-07-27 10:33:39

클래스의 이름이 정확합니다. –

Spark Java 프로그램을 실행할 수 없습니다.

답변

관련 문제