아파치 스파크 얀 클러스터

Question

얀 클라이언트 모드 (스파크 제출 제외)에서 스파크 스탠드 단독 작동을 실행하려고합니다. spark-assembly-1.1.0-hadoop2.4.0.jar과 hadoop conf (yarn-site.xml)을 클래스 경로에 제공했지만 원사는 yarn-site.xml에서 ResourceManager url을 선택하지 않고 기본적으로 8032 포트를 사용합니다.

는

Answer 1

당신이 당신의 classpath 하나 개 이상의 경로를 추가 한 경우, 당신은 HADOOP_CONF_DIR첫 번째을해야 있습니다 감사합니다. 당신이 설정 파일을 발견하면 중지됩니다 classpath, 하둡 (또는 더 정확하게, JVM)에 하나 개 이상의 경로를 선택하는 경우

set HADOOP_CONF_DIR=D:\data\yarnv2_5\Hadoop\etc\hadoop 
set PATH=%PATH%;D:\data\AppDependencies\jdk1.8\bin 
set JAVA_HOME=D:\data\AppDependencies\jdk1.8 
set AKKA_HOME=%~dp0 
set JAVA_OPTS=-Xmx100g -Xms1024M -Xss1M -XX:MaxPermSize=256M -XX:+UseParallelGC -Dfile.encoding=UTF8 
set AKKA_CLASSPATH=%AKKA_HOME%\* 

rem The order matters! Be sure to put HADOOP_CONF_DIR in the first place. 
set APP_CLASSPATH = %HADOOP_CONF_DIR%;%AKKA_CLASSPATH% 

java %JAVA_OPTS% -cp "%IN4_CLASSPATH%" com.Application 

:

이 내 응용 프로그램의 부트 스크립트입니다. 첫 번째 경로는 현재 경로가되는 경향이 있습니다.이 경로는 spark-assembly-1.x.x-hadoop-2.x.x.jar에서 config 파일을 찾을 수 있으며 HADOOP_CONF_DIR의 설정은 아무런 효과가 없습니다.