sparkR이 : 수는 스파크 EC2 클러스터를 시작한 후 작업자 노드

Question

를 작동 확인, 내가

결과 메시지의 몇 줄

$ ./spark/bin/sparkR 

와/루트에서 sparkR 시작은 다음과 같습니다

그래서

16/11/20 10:13:51 WARN SparkConf: 
SPARK_WORKER_INSTANCES was detected (set to '1'). 
This is deprecated in Spark 1.0+. 

Please instead use: 
- ./spark-submit with --num-executors to specify the number of executors 
- Or set SPARK_EXECUTOR_INSTANCES 
- spark.executor.instances to configure the number of instances in the spark config. 

, 그 제안을 다음과 나는 불꽃은 defaults.conf하는 마지막 줄을 추가

$ pwd 
/root/spark/conf 
$ cat spark-defaults.conf 
spark.executor.memory 512m 
spark.executor.extraLibraryPath /root/ephemeral-hdfs/lib/native/ 
spark.executor.extraClassPath /root/ephemeral-hdfs/conf 
spark.executor.instances 2 

이 메시지의 결과를 더 이상 할 수 없다 인쇄.

sparkR에서 액세스 할 작업자 노드의 수를 어떻게 확인할 수 있습니까?

Answer 1

spark 클러스터를 시작한 후 spark ui에서 Master_IP : 8080 (예 : 로컬 : localhost : 8080 )의 현재 작업자와 실행자를 확인할 수 있습니다. 또한 구성이 localhost : 4040에서 올바르게 적용되는지 확인할 수 있습니다 환경 탭