2015-01-15 2 views
1

, 나는 다음과 같은 출력을 얻을 :Spark SQL 중고 서버는 클러스터 모드에서 실행할 수 없습니까? 내가 클러스터 모드에서 스파크 SQL 중고품 서버를 시작하려고 스파크 1.2.0에서는

Spark assembly has been built with Hive, including Datanucleus jars on classpath 
Spark Command: /usr/java/latest/bin/java -cp ::/home/tpanning/Projects/spark/spark-1.2.0-bin-hadoop2.4/sbin/../conf:/home/tpanning/Projects/spark/spark-1.2.0-bin-hadoop2.4/lib/spark-assembly-1.2.0-hadoop2.4.0.jar:/home/tpanning/Projects/spark/spark-1.2.0-bin-hadoop2.4/lib/datanucleus-core-3.2.10.jar:/home/tpanning/Projects/spark/spark-1.2.0-bin-hadoop2.4/lib/datanucleus-rdbms-3.2.9.jar:/home/tpanning/Projects/spark/spark-1.2.0-bin-hadoop2.4/lib/datanucleus-api-jdo-3.2.6.jar -XX:MaxPermSize=128m -Xms512m -Xmx512m org.apache.spark.deploy.SparkSubmit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --deploy-mode cluster --master spark://xd-spark.xdata.data-tactics-corp.com:7077 spark-internal 
======================================== 

Jar url 'spark-internal' is not in valid format. 
Must be a jar file path in URL format (e.g. hdfs://host:port/XX.jar, file:///XX.jar) 

Usage: DriverClient [options] launch <active-master> <jar-url> <main-class> [driver options] 
Usage: DriverClient kill <active-master> <driver-id> 

Options: 
    -c CORES, --cores CORES  Number of cores to request (default: 1) 
    -m MEMORY, --memory MEMORY  Megabytes of memory to request (default: 512) 
    -s, --supervise    Whether to restart the driver on failure 
    -v, --verbose     Print more debugging output 

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 

은 "스파크 내부"인수가 알려줄 수있는 특별한 플래그를 것 같다을 spark-submit 할 클래스는 Spark의 라이브러리의 일부이므로 항아리를 배포 할 필요가 없습니다. 하지만 어떤 이유로 여기가 작동하지 않는 것 같습니다.

+0

나에게 스파크 버그와 같은 소리가납니다. –

답변

1

이 파일을 SPARK-5176으로 제출했으며 Thrift 서버를 클러스터 모드로 실행할 수 없음을 설명하는 오류 메시지가 표시됩니다.

관련 문제