0
3 노드 클러스터에서 Ambari와 함께 HDP를 사용하고 있습니다. 데이터를 예제 코드 (link)를 사용하여 Spark에서 Hbase 테이블에 저장하려고했지만 내 작업이 실패했습니다. 내가 사용HBase 및 Spark - 테이블에 쓰려고하는 동안 NullPointerException이 발생했습니다.
명령 :
spark-submit --master yarn --deploy-mode client \
--jars spark-examples-1.6.0.2.4.0.0-169-hadoop2.7.1.2.4.0.0-169.jar,\
hbase-common.jar, hbase-client.jar, hbase-server.jar, hbase-protocol.jar\
example.py 172.16.7.33 test row2 cols q1 value1
오류 :
link
내가 HBase를 쉘을 실행하고 수동으로 실시 테이블에 행을 추가 할 수 있습니다. Hbase 구성 (RegionServers?)에 문제가 있다고 생각합니다. 설치 후 Ambari는 RegionServers에 연결할 수 없습니다. Hbase를 재시작했는데 이제는 괜찮습니다. 경고가 없습니다.
누군가 나를 도와 줄 수 있습니까? 감사.
HBase ver. 1.1.2, 스파크 버전. 1.6 (Ambari를 통해 설치됨)
내가 모든 노드에 사육사가 ... 난 당신의 구성이 경로에없는 의심되거나 HBase를 할당 지역이없는, 알려주세요. hbase-site.xml에 정의되어 있습니다. Hbase Master UI에서 내 지역을 볼 수 있으며 UI에 연결할 수 있습니다. 클래스 패스를 설정하는 방법? 병을 추가하는 것으로 충분하지 않습니까? – ABla
연기 지연 ... 스파크 집행자는 경로에 hbase-site.xml이 필요합니다. 이 param을 시도하십시오 spark.executor.extraclasspath ... –
마지막으로이 문제를 해결할 시간이 없었습니다. 당신이 맞았 어, 나는 hbase-site.xml에 경로를 주어야했지만, spark.executor.extraclasspath와'--driver-class-path'는 나를 위해 작동하지 않았다. 나는'--jars'를 통해 hbase-site.xml에 경로를 추가하고 작동했습니다. 감사! – ABla