REST API가 Spark와 상호 작용

Question

Spark 컨텍스트를 REST API와 연결하려고합니다. 그래서 내 흐름이, 내 UI-nodejs에서 필요한 응답을 포함하는 스파크 컨텍스트 (Spark 작업 위의 하이브 테이블 위에 작동합니다)와 상호 작용해야하는 REST API로 요청을 보내고 다시 UI로 보내 디스플레이합니다. 이것을 달성 할 수있는 방법이 있습니까? UI < -> REST API < -> Spark (HDFS)

Answer 1

Apache Livy을 사용할 수 있습니다. 특히이 사용 사례를 위해 설계되었습니다. 우리는 Spark 클러스터에서 일괄 작업과 정규 작업을 제어하기 위해 과거에이 도구를 사용했습니다.