아파치 토리 (아나콘다 주피터 노트 포함)

Question

아나콘다 쥬피터 노트와 관련된 도움을 찾고 싶습니다. Jupyter 노트북에 PySpark와 SparkR을 쓰고 싶습니다. Jupyter 노트북과 함께 Apache Toree를 설치하는 방법을 가르치는 온라인 자습서를 따라했습니다.

나는 Kerberized Hadoop 클러스터를 관리하기 위해 Cloudera Manager 소포를 사용하고 있습니다.

그러나 Apache Toree PySpark의 커널을 서버 로그에서 아래 오류와 함께 열 수 없습니다.

[I 15:24:50.529 NotebookApp] Creating new notebook in 
[I 15:24:52.079 NotebookApp] Kernel started: 8cb4838c-2171-4672-96a4-b21ef191ffc6 
Starting Spark Kernel with SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark 
WARNING: User-defined SPARK_HOME (/opt/cloudera/parcels/CDH-5.9.0-1.cdh5.9.0.p2024.2115/lib/spark) overrides detected (/opt/cloudera/parcels/CDH/lib/spark). 
WARNING: Running spark-class from user-defined location. 
Exception in thread "main" java.lang.NoSuchMethodError: joptsimple.OptionParser.acceptsAll(Ljava/util/Collection;Ljava/lang/String;)Ljoptsimple/OptionSpecBuilder; 
    at org.apache.toree.boot.CommandLineOptions.<init>(CommandLineOptions.scala:37) 
    at org.apache.toree.Main$delayedInit$body.apply(Main.scala:25) 
    at scala.Function0$class.apply$mcV$sp(Function0.scala:40) 
    at scala.runtime.AbstractFunction0.apply$mcV$sp(AbstractFunction0.scala:12) 
    at scala.App$$anonfun$main$1.apply(App.scala:71) 
    at scala.App$$anonfun$main$1.apply(App.scala:71) 
    at scala.collection.immutable.List.foreach(List.scala:318) 
    at scala.collection.generic.TraversableForwarder$class.foreach(TraversableForwarder.scala:32) 
    at scala.App$class.main(App.scala:71) 
    at org.apache.toree.Main$.main(Main.scala:24) 
    at org.apache.toree.Main.main(Main.scala) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:606) 
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731) 
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181) 
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 

저는 Toree 라이브러리와 Spark 홈에 jopt-simple-4.5.jar를 넣었습니다. 거기에 항아리가 있어야 새로운 노트북을 만들 때 찾을 수있는 곳이 있습니까? 감사.

안부, 루카 내가 발견 simpliest 솔루션은 다음 옵션을 추가하는 것입니다

Answer 1

불꽃 제출

--conf "spark.driver.extraClassPath=/usr/local/share/jupyter/kernels/apache_toree_scala/lib/toree-assembly-0.1.0-incubating.jar" --conf "spark.executor.extraClassPath=/usr/local/share/jupyter/kernels/apache_toree_scala/lib/toree-assembly-0.1.0-incubating.jar" 

이 추가 될 수 있습니다 /usr/local/share/jupyter/kernels/apache_toree_scala/kernel.json 파일의 __TOREE_SPARK_OPTS__ 변수 또는 /usr/local/share/jupyter/kernels/apache_toree_scala/bin/run.sh 파일의 bash 명령에 직접 연결하십시오.

이렇게하면 클래스 로더가 기본 CDH 라이브러리가 아닌 Toree JAR에서 joptsimple.OptionParser을로드하게됩니다. https://github.com/Myllyenko/incubator-toree/releases