-2
우리는 PySpark에서 많은 수의 작은 Spark 애플리케이션을 개발 중입니다. 문제는 모든 프로그램이 매우 비슷한 설정을 필요로하며 종종 디렉토리와 같은 것을 만드는 것과 같은 일반적인 일을해야한다는 것입니다. 응용 프로그램은 종종 쿼리를 수행하고 CSV 파일에 쓰는 경우가 많습니다. 누구든지 이런 종류의 스크립트를 관리하는 좋은 방법을 아는 지 궁금합니다.Apache Spark 애플리케이션 프레임 워크
웹 개발에서 사람들은 일반적인 작업을 용이하게하고 합리적인 기본값을 갖기 위해 Spring을 발명했습니다. Spark 세계에서는 쉘 스크립트를 사용하여 Spark 응용 프로그램을 실행했습니다. pyspark 앱을 패키징하는 가장 좋은 방법이 있습니까? Spark 문서는 메커니즘을 설명하는 것이지 스파크 앱을 쓰는 일상적인 사용법이 아닙니다.
코드 자체가 아니며 주변의 모든 배관재입니다. – Machiel