Apache Zeppelin 0.7.0-SNAPSHOT가 외부 스파크와 작동하지 않음

Zeppelin (외부 클린 패키지 -Pcassandra-spark-1.6 -Dscala-2.11 -DskipTests로 컴파일 된 0.7-0 스냅 샷) 을 외부 스탠드 얼론 버전의 불꽃 1.6.1Apache Zeppelin 0.7.0-SNAPSHOT가 외부 스파크와 작동하지 않음

나는 수출 MASTER = 불꽃을 입력하여 설정하는 것을 시도했다

: // mysparkurl : 7077 /zeppelin/conf/zeppelin-env.sh 에서와 % 스파크 설정 interpeter을 통해 아래 Zeppelin GUI 또한 master 매개 변수를 spark : // mysparkurl : 7077로 설정하려고했습니다.

지금까지 Spark에 연결하려는 시도는 실패했습니다. 여기에 외부 스파크 내가 그것으로 얻을 오류 제플린을 테스트하기 위해 사용한 코드 조각입니다 : 제플린은 고정 표시기 컨테이너에서 실행되는

%spark 
val data = Array(1,2,3,4,5) 
val distData = sc.parallelize(data) 
val distData2 = distData.map(i => (i,1)) 
distData2.first 

data: Array[Int] = Array(1, 2, 3, 4, 5) 
Java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.

, 그리고 스파크는 호스트에서 실행됩니다.

여기에 뭔가가 있습니까? Zeppelin이 외부 스탠드 얼론 스파크와 작동하도록 구성해야하는 다른 것이 있습니까?

출처

2016-08-10 pinkpanther

외부 스파크도 컴파일 했습니까? 기본적으로 scala-2.10을 사용하여 spark 1.6을 사용합니다. –

예, 외부 스파크를 컴파일했습니다. 스파크 루트 디렉토리에서 ./dev/change-version-to-2.11.sh를 실행 한 다음 sbt -Dscala-2.11 클린 어셈블리를 실행했습니다. 시작시 외부 스파크는 스칼라 버전 2.11.7 (Java HotSpot (TM) 64 비트 서버 VM, Java 1.7.0_80)을 사용한다고 말합니다. – pinkpanther

제플린 로그 디렉토리에는 몇 가지 실마리가 있습니다. 특히 zeppelin-interpreter-spark-xx .log 파일 –

Cedric H.에 언급 된대로 Apache Zeppelin을 -Dscala-2.10으로 컴파일해야합니다.

9 월 이후로 몇 가지 버그가 수정되었으며 Scala 2.11 지원이 제대로 작동해야합니다. 그렇지 않은 경우 official project JIRA에 문제를 제기하십시오.

출처

2016-12-20 08:22:53 bzz

Apache Zeppelin 0.7.0-SNAPSHOT가 외부 스파크와 작동하지 않음

답변

관련 문제