SparkPi 프로그램은 Yarn/Spark/Google Compute Engine에서 계속 실행됩니다.

하나의 마스터 & 슬레이브 2 개를 사용하여 Google Compute Engine에 Hadoop (Yarn + Spark) 클러스터를 배포했습니다. 다음 쉘 스크립트를 실행할 때 :SparkPi 프로그램은 Yarn/Spark/Google Compute Engine에서 계속 실행됩니다.

spark-submit --class org.apache.spark.examples.SparkPi - master yarn-cluster --num-executors 1 - 드라이버 메모리 1g --executor-

작업이 단지 &을 계속 실행 메모리 1g의 --executor 코어 /home/hadoop/spark-install/lib/spark-examples-1.1.0-hadoop2.4.0.jar 10

1 초마다 나는 메시지가

15/02/06 22:47:12 INFO yarn.Client: Application report from ResourceManager: 
     application identifier: application_1423247324488_0008<br> 
     appId: 8<br> 
     clientToAMToken: null<br> 
     appDiagnostics:<br> 
     appMasterHost: hadoop-w-zrem.c.myapp.internal<br> 
     appQueue: default<br> 
     appMasterRpcPort: 0<br> 
     appStartTime: 1423261517468<br> 
     yarnAppState: RUNNING<br> 
     distributedFinalState: UNDEFINED<br> 
     appTrackingUrl: http://hadoop-m-xxxx:8088/proxy/application_1423247324488_0008/<br> 
     appUser: achitre

출처

2015-02-06 DilTeam

대신이 유사사용 --master yarn-client

출처

2015-02-07 11:14:12 baju

나는 다음과 같은 예외를 얻을 : 스레드 "주요"org.apache.spark.SparkException에서 예외 : SparkContext는 org.apache.spark.SparkContext.runJob (SparkContext에 종료 하고있다. 스칼라 : 1082) at org.apache.spark.SparkContext.runJob (SparkContext.scala : 1158) at org.apache.spark.rdd.RDD.reduce (RDD.scala : 861) at org.apache.spark. 예 : SparkPi.main (SparkPi.scala : 35) at org.apache.spark.examples.SparkPi.main (SparkPi.scala) – DilTeam

구직이 끝나거나 결과를 받기 전에 받고 있습니까? – baju

'yarn logs -applicationId 을 실행했을 때 예외적으로 발견되었습니다. "main"스레드의 예외 java.lang.NumberFormatException : 입력 문자열 : "5999m" – DilTeam

내 스크립트에 다음 줄을 추가 한 후, 그것은 일 :

수출 SPARK_JAVA_OPTS의 = "를 - Dspark.yarn.executor.memoryOverhead = 1024 -Dspark.local.dir =/tmp를 -Dspark.executor 메모리 = 1024 "

메모리를 지정할 때 'm', 'g'등을 사용해서는 안됩니다. 그렇지 않으면 NumberFormatException을 얻습니다. 나는 실 - 클라이언트를 사용할 때

출처

2015-02-08 03:57:12 DilTeam

여러 번 지정한 방식으로 메모리를 지정했지만 오류가 발생하지 않았습니다. 무엇보다, spark 문서에서 다음과 같이 나타낼 수 있습니다. 'SPARK_WORKER_MEMORY Spark 응용 프로그램이 컴퓨터에서 사용할 수있는 총 메모리 양입니다 (예 :. 1000m, 2g (기본값 : 총 메모리에서 1GB 빼기); 각 응용 프로그램의 개별 메모리는 spark.executor.memory 속성을 사용하여 구성됩니다. ' – baju

원사에서 시도 했습니까? – DilTeam

예 - 단지 아래에만 – baju

SparkPi 프로그램은 Yarn/Spark/Google Compute Engine에서 계속 실행됩니다.

답변

관련 문제