서비스로 스파크를 사용할 수 있습니까?

Question

사용 사례는 데이터 프레임을 객체로 반환하여 서비스를 중단하고자합니다. 휴식 서비스에는 스파크 컨텍스트 제어가 없습니다. registerAsTemptable에서 수행하는 방법과 같이 ANSI 쿼리를 수행 할 수있는 방법이 있습니다.
테이블 이름을 전달하고 쿼리를 통해 나머지 서비스를 전달합니다. 그렇다면 내가보기에 테이블로 보여줄 수있는 물건으로서 어떤 것을 돌려 주어야합니다.

다른 방법이 있으면 제안 해주세요. 하지만 spark를 기본 프레임 워크로 사용하고 싶었습니다.

Answer 1

아니요, DataFrame to Rest 서비스를 반환 할 수 없습니다. Spark 컨텍스트 외부에서는 작동하지 않습니다.

불꽃은 당신이 할 수있는, 그러나 더 아웃 - 오브 - 박스 서비스 지원

가 없습니다 :

1. 시작 JDBC Spark Server이 서버에 쿼리. Here은이 서버에 연결하기위한 자습서입니다. 이 아닌 REST 서비스입니다. JDBC 서버 일뿐입니다. REST 서비스에서 REST 방식으로 연결할 수 있지만 데이터 소스로 사용하십시오.
2. Livy에 작업 제출 서버 - 서비스가 Livy를 호출하여 Spark에서 일부 작업을 수행 할 수 있습니다.
서비스가 스파크에 약간의 작업을 실행 리비 (Livy)를 호출 할 수 있지만,이 경우 작업 파일은 클러스터

두 번째 및 세 번째 옵션은 준비 작업 코드를 필요에 JAR 파일에 있어야합니다 -

은 Spark REST API에 작업을 제출합니다. REST 서비스가 아니고 /get/table/row=1 쿼리를 호출 할 수 있습니다. 적절한 계산으로 작업을 제출할 자체 서비스를 준비해야합니다.

결론 : 아니요, 스파크에는 데이터 쿼리를위한 내장 REST 서비스가 없습니다. 그러나 REST 스타일로 사전 정의 된 작업을 실행하고 데이터를 쿼리하는 데는 몇 가지 옵션이 있습니다. 그러나이를 위해서는 자체 서비스를 구축해야합니다. 사전 정의 된 작업으로 적절한 Spark API를 쿼리해야합니다.

SQL 쿼리 만 실행하려면 JDBC Spark Server를 서비스의 데이터 소스로 사용하는 것이 좋습니다.