Apache Spark의 최신 버전을 실행 중입니다. 이전 버전의 클러스터

Question

저는 Cloudera CDH 5.2.2 클러스터에 Apache Spark 1.5.0이 있습니다.

Dataset API와 함께 Apache Spark 2.0을 사용하는이 클러스터 응용 프로그램에서 실행할 수있는 방법이 있습니까? 클러스터 설정은 변경하지 않는 것이 바람직합니다.

Maven-shade-plugins를 사용하여 JAR Spark 2.0.0에 내장 된을 실행했지만 작동하지 않습니다 (NoSuchMethodException).

Answer 1

Spark 2.0.0 기능을 사용하려면 클러스터에 Spark 2.0.0을 실행해야합니다. 나는 이것에 대한 해결책이 있다고 생각하지 않는다. NoSuchMethodExeception과 같은 예외가 발생합니다. 사용중인 메소드의 메소드 또는 시그니처가 1.5.0에서 2.0.0으로 변경되어 클러스터가 해당 메소드를 인식하지 못하기 때문입니다.