원사에 스파크 제출 - 여러 작업

원사로 여러 개의 스파크 제출 작업을 제출하고 싶습니다. 그것은 지금처럼 내가원사에 스파크 제출 - 여러 작업

spark-submit --class myclass --master yarn --deploy-mode cluster blah blah

을 실행할 때, 나는 좀 더 작업을 제출하기 완료 할 작업에 대한 기다려야한다.

16/09/19 16:12:41 INFO yarn.Client: Application report for application_1474313490816_0015 (state: RUNNING) 16/09/19 16:12:42 INFO yarn.Client: Application report for application_1474313490816_0015 (state: RUNNING)

가 어떻게 같은 터미널에서 모든 다른 작업을 데리러 실을 알 수 있습니다 : 나는 심장 박동을 참조하십시오. 궁극적으로 나는 한 곳에서 수백 개의 일자리를 보내는 곳에서 스크립트를 실행할 수 있기를 원합니다.

감사합니다.

출처

2016-09-19 ab3

쉽게 실행할 수 있어야합니다. 이 작업을 백그라운드에서 실행 해 보셨습니까? 예 : '&' – tesnik03

모든 사용자는 원사 구성에 지정된 고정 용량을 갖습니다. 당신이 할당 된 N 집행 (보통, 당신은 vcores의 몇 가지 고정 된 수의 할당됩니다), 그리고 100 작업을 실행하려면 작업 각각에 할당을 지정해야합니다 :

spark-submit --num-executors N/100 --executor-cores 5

그렇지 않으면 작업이 수용됩니다.

각 호출의 마지막에 &을 사용하여 여러 작업을 병렬로 시작할 수 있습니다.

for i in 서열 20 ; do spark-submit --master yarn --num-executors N/100 --executor-cores 5 blah blah &; done

출처

2016-09-19 20:59:53 axiom

감사합니다. @axiom 예. 그 부분이 있습니다. 문제는 내가 한 번에 하나씩 만 제출할 수 있다는 것입니다. 예 : 'seq 20'에서 i에 대해'''; spark-submit을해라 - master yarn blah blah; done''은 spark-submit을 통한 종료 신호를 기다리고 있기 때문에 한 번에 하나씩 만 제출합니다. – ab3

확인 스파크에서 동적 할당 FIFO가 FAIR
로 변경 경우 원사와 함께 사용하기에 무엇 스케줄러

확인, 당신이 계획하는 방법 자원을 할당하는 방법 N 실의 작업 수는 얼마입니까?

출처

2016-09-21 20:50:18 avrsanjay

한 번에 여러 작업을 실행하고 앱이 클러스터로드에 따라 크기를 다시 조정해야하므로 동적 할당이 도움이됩니다. – avrsanjay

원사에 스파크 제출 - 여러 작업

답변

관련 문제