둘 이상의 세션에서 동일한 Spark RDD에 액세스하는 방법은 무엇입니까?

Question

여러 프로그램/프로세스에서 사용해야하는 공통 데이터 세트가 있습니다. 여러 개의 스칼라 프로그램에서 하나의 Spark RDD를 만들고 동일한 RDD를 공유하려면 어떻게해야합니까?

Answer 1

어쩌면 당신은 여러 스파크 프로그램 https://ignite.apache.org/features/igniterdd.html

Answer 2

Spark-Jobserver을 고려에 RDD을 공유하는 데 도움이 될 IgniteRDD에 모습을 가질 수 있습니다. Jobserver의 주된 역할은 REST 인터페이스이지만, 부작용은 RDD를 활성 상태로 유지하고 작업간에 공유 할 수 있다는 것입니다.