AWS 람다 함수로 스파크 작업 제출

AWS 람다 함수에서 Spark-sumit REST API를 사용하여 작업을 제출하고 싶습니다. Spark-Jobserver를 살펴본 결과, \ EC2 인스턴스에 배포해야하는 것처럼 보입니다. 스파크 REST 인터페이스를 사용하여 AWS Lambda 함수를 사용하여 작업을 제출하고 싶습니다. 제발 제안하십시오.AWS 람다 함수로 스파크 작업 제출

출처

2017-09-25 shiv455

람다에서 EMR 클러스터에 단계를 추가 할 수 있습니다. 단계는 쉘 스크립트, 하이브 또는 스파크 작업이 될 수 있습니다.

즉 EMR을 사용하지

emr.addJobFlowSteps(params, function(err, data)

내가 독립 클러스터를 사용 http://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/EMR.html

출처

2017-09-25 15:30:06 Achyuth

임 EMR에 사용할 수있는 API 호출에 대한 링크를 추가하고있다 수행하는 데 도움이 기능 .. – shiv455

당신이이 있습니까 클러스터에 작업 서버가 있습니까? – Achyuth

스파크 작업 서버를 사용하지 않습니다. 스파크 REST 인터페이스와 함께 AWS 람다를 사용하겠습니다. – shiv455

AWS 람다 함수로 스파크 작업 제출

답변

관련 문제