-1
Spark Streaming 응용 프로그램을 Yarn 클러스터 모드로 실행합니다. 집행자의 수를 한 노드로 제한하고 싶습니다. 스파크에서 이것을하는 방법?내 Spark Streaming 응용 프로그램의 실행 프로그램 수 설정
A
답변
0
두 가지 방법에 의해 집행의 수를 제어 할 수 있습니다 :
직접 불꽃에 제출Option 1: 명령 :
spark-submit --class ClassName --conf "spark.executor.instances=1" .... other parameters.
spark-submit -class ClassName --num-executors 1 .... other parameters
Option 2: 내부 컨퍼런스 플래그가 명령을 제출
m 동일 세부 정보에 대한 자세한 정보는 Submitting Applications입니다.
+0
문제가 해결 되었습니까? – Hokam
관련 문제
- 1. Spark Streaming Flume Integration
- 2. Spark Streaming 응용 프로그램을 정상적으로 중지하는 방법
- 3. Spark Scheduler 실행 응용 프로그램 강제 실행
- 4. Spark Streaming Mysql
- 5. Spark 응용 프로그램의 실행 프로그램 IP를 확인하는 방법은 무엇입니까?
- 6. Spark Streaming textFileStream 복사
- 7. Spark Streaming Kafka Consumer
- 8. KafkaUtils java.lang.NoClassDefFoundError Spark Streaming
- 9. Spark Streaming failed executor tasks
- 10. Kafka Streaming with apache spark
- 11. API 호출을위한 Spark Streaming 아키텍처
- 12. Spark Streaming Stateful 네트워크 단어 수
- 13. Spark 실행 프로그램의 동시 작업
- 14. 내 응용 프로그램 실행
- 15. Spark Streaming 응용 프로그램의 Twitter API에서 정확한 구문을 가져올 수 없습니다.
- 16. 내 응용 프로그램의 DesignMode 설정
- 17. Spark Streaming 상태를 외부 DB에 저장
- 18. 웹 응용 프로그램, 사용자가 내 응용 프로그램의
- 19. 봄 - 나는 내 응용 프로그램의 설정이 설정 한 프로그램
- 20. 응용 프로그램 서버 내 스프링 프로그램 실행
- 21. Spark Streaming GroupBy 처리 할 튜플의 부분
- 22. 웹 서버로 Spark 장기 실행 프로그램
- 23. Spark Streaming MQTT - 데이터 세트에 스키마 적용
- 24. Spark Streaming 2.0 GC 오류 (Shuffle Issue)
- 25. foreach 내부의 Spark Streaming 필터 조건 - NullPointerException
- 26. 스파크 SQL (Spark Streaming)에서 실패했습니다 (KafkaStream)
- 27. Spark Streaming : 스트림에 파이프 라인을로드하는 방법?
- 28. Spark Streaming - 이진 데이터 파일 처리
- 29. Spark 독립 실행 형 모드 다중 셸 세션 (응용 프로그램)
- 30. KafkaUtils API | 오프셋 관리 | Spark Streaming
귀하의 질문에 약간 혼동이 있습니다. 단일 노드에서만 모든 집행자 또는 집행자의 수를 제어 하시겠습니까? – Hokam
아니요 하나의 실행 프로그램과 드라이버가 하나만있는 것 같습니다. – Luckylukee