Play with Spark 2.0! 2.5

Play와 함께 Spark 2.0을 사용하려고합니다! 2.5 그러나 제대로 작동하도록 만들지는 못합니다 (그리고 Github에 대한 예제가없는 것 같습니다).Play with Spark 2.0! 2.5

컴파일 오류가 없지만 일부 이상한 실행 오류가 있습니다. 예를 들어
: 거의 Dataset 또는 Dataframe 모든 조작은 NullPointerException 리드 :

val ds: Dataset[Event] = df.as[Event] 
println(ds.count()) //Works well and prints the good results 
ds.collect() // --> NullPointerException

ds.show 또한 NullPointerException 리드.

어딘가에 큰 문제가있어서 호환되지 않는 버전에서 발생한다고 생각합니다.

object Version { 
    val scala   = "2.11.8" 
    val spark   = "2.0.0" 
    val postgreSQL  = "9.4.1211.jre7" 
} 

object Library { 
    val sparkSQL   = "org.apache.spark"   %% "spark-sql"   % Version.spark 
    val sparkMLLib  = "org.apache.spark"   %% "spark-mllib"  % Version.spark 
    val sparkCore   = "org.apache.spark"   %% "spark-core"   % Version.spark 
    val postgreSQL  = "org.postgresql"    % "postgresql"   % Version.postgreSQL 
} 

object Dependencies { 
    import Library._ 

    val dependencies = Seq(
    sparkSQL, 
    sparkMLLib, 
    sparkCore, 
    postgreSQL) 
} 

lazy val root = (project in file(".")) 
    .settings(scalaVersion := Version.scala) 
    .enablePlugins(PlayScala) 

libraryDependencies ++= Dependencies.dependencies 

dependencyOverrides ++= Set(
    "com.fasterxml.jackson.core" % "jackson-databind" % "2.7.4", 
    "com.fasterxml.jackson.module" %% "jackson-module-scala" % "2.7.4" 
)

출처

2016-10-07 Simon

위의 df와 같은 코드를 좀 더 공유 할 수 있습니까? df가 dataframe이고 공용 git repo에서 링크를 제공 할 수 있습니까? –

Dataframe을 다음과 같이 만듭니다.'spark.sqlContext.read.jdbc (databaseURL, query, connectionProperties)'는 유효한 SQL 쿼리였습니다. – Simon

그리고 git repo : https://github.com/ticketapp/play2.5Spark2.0 – Simon

내가 플레이 2.5.12 자바와 스파크 2.0.0을 사용하여 동일한 문제로 실행 : 여기 내 build.sbt의 관련 부분이다. activator는 기본적으로 com.fasterxml.jackson-databind 2.7.8을 포함하고있는 것으로 보이며 jackson-module-scala에서는 작동하지 않습니다.

나는 불꽃 2.0.0은 잭슨 - 모듈 scala_2.11로 컴파일되어 있기 때문에, 컴파일하는 동안 도기를 산출 내 SBT 캐시

rm -r ~/.ivy2/cache

나의 새로운 build.sbt을 청소 : 2.6.5을하지만, 호환되지 않는 잭슨 버전 : 아직 2.8.7

scalaVersion := "2.11.8" 
libraryDependencies ++= Seq(
    "com.fasterxml.jackson.core" % "jackson-core" % "2.8.7", 
    "com.fasterxml.jackson.core" % "jackson-databind" % "2.8.7", 
    "com.fasterxml.jackson.core" % "jackson-annotations" % "2.8.7", 
    "com.fasterxml.jackson.module" %% "jackson-module-scala" % "2.8.7", 
    "org.apache.spark" % "spark-core_2.11" % "2.0.0", 
    "org.apache.spark" % "spark-mllib_2.11" % "2.0.0" 
)

jackson.databind.JsonMappingException에서 파생 NullPointerException이 잭슨 - 모듈 - 스칼라와 함께 작동하는 2 솔기를 촉발 2.XX 가 읽어 보시기 바랍니다 https://github.com/FasterXML/jackson-module-scala/issues/233

출처

2017-03-07 15:37:20

Play with Spark 2.0! 2.5

답변

관련 문제