스파크에서 하이브 테이블에 액세스

Question

하이브 0.13 설치가 있고 사용자 지정 데이터베이스를 만들었습니다. 내가 스파크 1.1.0 단일 노드 클러스터 mvn - 하이브 옵션을 사용하여 내장했다. hivecontext를 사용하여 spark 응용 프로그램에서이 데이터베이스의 테이블에 액세스하려고합니다. 하지만 hivecontext는 항상 spark 디렉토리에 생성 된 로컬 메타 스토어를 읽습니다. hive-site.xml을 spark/conf 디렉토리에 복사했습니다.
다른 구성을해야합니까 ??

Answer 1

1 단계 : 최신 버전으로 설정 SPARK ....이 일부 jar 파일을 다운로드하고 추가 할 필요가 추가되지 않습니다 bydefault됩니다 실행함으로써

$ cd $SPARK_Home; ./sbt/sbt -Phive assembly 
$ cd $SPARK_Home; ./sbt/sbt -Phivethriftserver assembly 

....

2 단계 : $SPARK_HOME/conf/dir로 하이브 클러스터에서
복사 hive-site.xml 아래에 나열되어 해당 파일에 이러한 속성 XML 파일을 편집하고 추가

를

3 단계 : MYSQL JDBC 커넥터를 다운로드하고이를 SPARK CLASSPATH에 추가하십시오. bin/compute-classpath.sh
명령을 실행하고 아래 스크립트에 다음 행을 추가하십시오. 다음 명령 모든 deamons
시작 ....

start-all.sh 

: 촉발 ....

1 단계 HIVE에서 데이터를 검색하는 방법

---

CLASSPATH=”$CLASSPATH:$PATH_TO_mysql-connector-java-5.1.10.jar 

2 단계 :
하이브 스 리프트 서버 2를 시작하려면 다음 명령을 사용하십시오 ....

hive --service hiveserver2 & 

3 단계 : 다음 명령에 의해
시작 스파크 서버 .... 마지막으로

start-spark.sh 

그리고이 다음 명령으로 확인하여 시작하거나하지 여부를 확인 ....

RunJar 
ResourceManager 
Master 
NameNode 
SecondaryNameNode 
Worker 
Jps 
JobHistoryServer 
DataNode 
NodeManager 

4 단계 :
시작 다음 명령에 의해 마스터 ....

1,234,414,183,는

./sbin/stop-master.sh 

5 단계 ..... 마스터가 아래의 명령을 사용 중지하려면
열고 새 터미널 ....
시작 다음 경로에 의한 직선 ....

hadoop@localhost:/usr/local/hadoop/hive/bin$ beeline 

입력을 요청한 후 ... 아래에 나열된 입력을 전달하십시오.그 후 conf의 파일 항상 실행하기 때문에 필요가 없습니다에 이러한 구성을 설정 ....

set spark.master=spark://localhost:7077; 
set hive.execution.engines=spark; 
set spark.executor.memory=2g; // set the memory depends on your server 
set spark.serializer=org.apache.spark.serializer.kryoSerializer; 
set spark.io.compression.codec=org.apache.spark.io.LZFCompressionCodec; 

: 그 후

!connect jdbc:hive2://localhost:10000 hadoop "" org.apache.hive.jdbc.HiveDriver 

다음 명령으로 SPARK ....
참고 설정 입력 요청 .... 데이터를 가져 오려는 쿼리를 전달하고 브라우저를 열고 다음 명령으로 URL을 체크인하십시오. localhost : 8080 URL에서 실행중인 작업 및 완료된 작업을 볼 수 있습니다. ...