Maven을 사용하는 아파치 스파크 오류

Question

현재 아파치 스파크를 배우려고합니다. Scala 나 SBT에 익숙하지 않아 Maven과 Java를 사용하고 있습니다.

또한 필자가 시도한 모든 예제는 2000 개가 넘는 "pom.xml"파일이있는 것으로 보입니다. 많은 의존성이 필요합니까?

Here's 예제를 시도해 보았습니다. Here's 내 현재 "pom.xml"파일. 이것은 내가지고있어 오류는 다음과 같습니다

또한

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object; 
at org.apache.spark.sql.SparkSession$Builder.config(SparkSession.scala:666) 
at org.apache.spark.sql.SparkSession$Builder.appName(SparkSession.scala:657) 
at misc.apache2.main(apache2.java:47) 
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
at java.lang.reflect.Method.invoke(Method.java:498) 
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144) 

Process finished with exit code 1 

, 나는 아파치 스파크에 대한 Maven 프로젝트를 사용하고 있다면, 나는 build.sbt 파일이 필요합니까?

는 현재 IntelliJ를 16.1.3, 윈도우 (10) 내가 무엇을보고에 관해서는

Answer 1

실행, 당신은 스파크의 다른 버전을 사용하고 있습니다.

pom.xml에서 Spark Core 버전 1.2.0, Spark Sql 버전 2.0.0 및 Spark Hive 버전 1.6.1을 사용하고 있습니다.

모든 스파크 종속성을 불꽃 같은 버전을 사용하십시오 :

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-core_2.11</artifactId> 
    <version>2.0.0-preview</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-sql_2.11</artifactId> 
    <version>2.0.0-preview</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-hive_2.11</artifactId> 
    <version>2.0.0-preview</version> 
</dependency>