4
나는 다음과 같은 build.sbt
파일이 있습니다잭슨 버전이 너무 오래
An exception or error caused a run to abort.
java.lang.ExceptionInInitializerError
Caused by: com.fasterxml.jackson.databind.JsonMappingException: Jackson version is too old 2.4.4
at com.fasterxml.jackson.module.scala.JacksonModule$class.setupModule(JacksonModule.scala:56)
at com.fasterxml.jackson.module.scala.DefaultScalaModule.setupModule(DefaultScalaModule.scala:19)
at com.fasterxml.jackson.databind.ObjectMapper.registerModule(ObjectMapper.java:549)
at org.apache.spark.rdd.RDDOperationScope$.<init>(RDDOperationScope.scala:82)
at org.apache.spark.rdd.RDDOperationScope$.<clinit>(RDDOperationScope.scala)
... 58 more
이유는이 경우 : 내가 코드를 실행하고 때
이name := "myProject"
version := "1.0"
scalaVersion := "2.11.8"
javaOptions ++= Seq("-Xms512M", "-Xmx2048M", "-XX:MaxPermSize=2048M", "-XX:+CMSClassUnloadingEnabled")
dependencyOverrides ++= Set(
"com.fasterxml.jackson.core" % "jackson-core" % "2.8.1"
)
// additional libraries
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.0.0" % "provided",
"org.apache.spark" %% "spark-sql" % "2.0.0" % "provided",
"org.apache.spark" %% "spark-hive" % "2.0.0" % "provided",
"com.databricks" %% "spark-csv" % "1.4.0",
"org.scalactic" %% "scalactic" % "2.2.1",
"org.scalatest" %% "scalatest" % "2.2.1" % "test",
"org.scalacheck" %% "scalacheck" % "1.12.4",
"com.holdenkarau" %% "spark-testing-base" % "2.0.0_0.4.4" % "test",
)
그러나, 나는이 오류를? dependencyOverrides
(여기를 보신 후 Spark Parallelize? (Could not find creator property with name 'id'))에 새 버전의 Jackson을 추가 했으므로 이전 버전을 사용하지 마십시오.
이전 버전에서는 종속성이 있어야합니다. 그게 무엇인지 알아 내고 Jackson과 최신 버전을 구해야합니다. 메이븐 (Maven)은 이것을 쉽게 알아낼 수 있습니다. – duffymo
끝에'force()'를 사용하여'libraryDependencies'에 jackson 의존성을 추가하십시오 :'libraryDependencies ++ = Seq (... "com.fasterxml.jackson.core"% "jackson-core"% "2.8.1 "force()' –