Apache Spark - Dependency Injection Mechanism을 사용할 수 있습니까?

Question

Spark Application에서 Dependency Injection을 활성화/사용하기위한 프레임 워크를 사용할 가능성이 있습니까?

예를 들어 Guice을 사용할 수 있습니까?

그렇다면 문서 작성 방법이나 샘플이 있습니까? 내가 구현 언어로 스칼라 사용하고

, 빌드 도구로 스파크 2.2 및 SBT.

현재 우리 팀은 케이크 패턴을 사용 중입니다. 그러나 매우 장황 해졌고, 우리는 Guice를 선호합니다. 이것은 더 직관적이며 이미 다른 팀 구성원이 알고있는 것입니다.

Answer 1

저는 최근에 같은 문제로 어려움을 겪었습니다. 내 발견의 대부분은 당신이 직렬화에 관한 이슈에 직면하게 될 것이라는 것이다. databricks에서이 라이브러리는 https://www.slideshare.net/databricks/dependency-injection-in-apache-spark-applications