ThriftServer에 임시 테이블 등록

저는 Spark를 처음 접했고 Spark 쓰레드 서버에서 임시 테이블로 데이터 프레임을 등록하는 방법을 이해하려고합니다. 이 내가 할 노력하고 무엇인가, 명확히하기 위해 :ThriftServer에 임시 테이블 등록

가 dataframe를 생성하고 임시 테이블 스파크 ThriftServer에 JDBC 클라이언트에서
연결로 등록 신청서를 제출 (마스터에서 실행) 그리고 등록 된 응용 프로그램이 완료된 후에도 임시 테이블을 조회하십시오.

지금까지 Spark ThriftServer가 Spark 마스터에서 실행 중이지만 실제로 임시 테이블을 등록 할 수 없습니다.

이것이 가능합니까? JDBC를 통해 데이터 프레임을 제공하기 위해 HiveThriftServer2.startWithContext를 사용할 수 있다는 것을 알고 있습니다.하지만 응용 프로그램을 계속 실행하려면 + 추가 응용 프로그램을 시작해야합니다.

출처

2016-08-29 Dan Markhasin

[이 링크] (https://stackoverflow.com/a/45037532/1592191)를 확인하십시오. 귀하의 경우 스파크 쉘 대신 스파크 작업으로 가정하십시오 (piont 1) – mrsrinivas

[스파크 절약 서버를웨어 하우스 디렉토리 경로 제공] 가능한 복제본 (https://stackoverflow.com/questions/45032770/giving-spark-thrift) -server-the-path-to-warehouse-directory) – mrsrinivas

중요한 아이디어는 모든 임시 테이블을 Spark 작업에 등록하고 마지막으로이 작업에서 SparkThriftServer를 시작하는 것입니다. 중고품 보관 서버를 해지 할 때까지 작업이 계속 실행됩니다. 또한 JDBC를 통해 모든 임시 테이블에 대해 SparkThriftServer를 쿼리 할 수 있습니다. Here it is described with example

출처

2017-09-12 12:47:01

ThriftServer에 임시 테이블 등록

답변

관련 문제