cdh5.3 클래스가있는 원사에 spark sql 실행되지 않음

Question

spark-sql을 독립 실행 형 모드로 완벽하게 실행할 수 있지만 원사 모드에 관해서는 spark가 하이브 클래스를 찾을 수 없다고 말했습니다 org/apache/hadoop/hive/ql/plan/TableDesc와 같은).

그래서 하이브 라이브러리를 compute-classpath.sh에 추가했습니다. 실패한. 그럼 원사가 작동하지 않고 독립형이 잘 작동한다고 생각했습니다. 어쩌면 내가 hive lib 포함하는 원사 클래스 경로를 변경해야합니다.

나는 다시 실패했다.

나는 하이브 라이브러리가 내 실 시작 로그와 스파크 출력에서 ​​발생한다는 것을 이해하지 못한다. 왜 내 하이브 SQL에서 기본 하이브 클래스를 찾을 수 없다고했는지?

덕분에 모두 나를 도왔습니다

Answer 1

아마도 대부분 클래스 경로 문제가 있습니다. 이 문제 해결 가이드의 '클래스 경로 문제'섹션 (http://www.datastax.com/dev/blog/common-spark-troubleshooting)을 참조하십시오. spark-submit 전화의 --jars 옵션을 설정하고 SparkConfig을 만들 때 aditionnal jar를 전달해야합니다.

Answer 2

이 시도/spark.executor.extraClassPath =/옵션/클라우 데라/소포를 추가 CDH/lib 디렉토리/하이브/lib 디렉토리/*