스파크를 사용하여 JSON 용 사용자 정의 serde를 사용할 수 있지만 클래스를 찾을 수 없음

Question

https://github.com/Esri/gis-tools-for-hadoop/wiki/Aggregating-CSV-Data-%28Spatial-Binning%29과 함께이어서 스파크를하면 serde 클래스를 찾을 수 없습니다.

ClassNotFoundException: Class com.esri.hadoop.hive.serde.JsonSerde not found 

내 빌드 정의는 다음과 같습니다 https://github.com/geoHeil/spatial-heatmaps/blob/master/esri/build.sbt 및 포함

"com.esri.hadoop" % "spatial-sdk-hive" % esriVersion, 
"com.esri.hadoop" % "spatial-sdk-json" % esriVersion, 

을 전체 프로젝트는 GitHub의에서 찾을 수 있습니다 : sbt console을 실행하여 https://github.com/geoHeil/spatial-heatmaps/tree/master/esri

앱이 실행되고 (코드를 붙여 현재)

Answer 1

GIS 도구 용 Hadoop 샘플을 Spatial-Framework-for-H로 업그레이드하는 것이 가장 좋습니다 adoop v2 및 Esri-Geometry-for-Java v2 - https://github.com/Esri/gis-tools-for-hadoop/issues/66을 사용하십시오.

다른 대안은 Spatial-Framework-for-Hadoop의 v1.2로 다운 그레이드하는 것입니다.

[공개 : 협력자]