2016-09-22 2 views
1

저는 jupyter 노트북에서 DataBricks 자동 완성을 부러워합니다.하지만 로컬 설치에서 작동하지 않습니다.Jupyter의 자동 완성 (pyspark & ​​scala 포함)

% config IPCompleter.greedy = True 나는 파이썬에서는 작동하지만 pyspark 또는 spark-shell (scala)에서는 작동하지 않습니다. 누구든지이 작업을 수행하는 방법을 알고 있습니까?

현재 : Spark 2.0.0 & 우분투 16.04 64bit에서 Spark 2.11로 작업 중입니다. 또한, spark 2.0 & Spark2.11에서 작업하려면 toree-assembly-0.2.0.dev1-incubating-SNAPSHOT 을 컴파일하십시오. 내 binstar에 hyoon이 있습니다. https://anaconda.org/hyoon/toree

+0

이 자동 완성 중 어느 것도 잘 작동하지 않는다는 것을 알고있는 한. 보통 Intellij 아이디어에 코드를 작성하고 테스트 한 다음 내 코드를 프레젠테이션이나 음모를 위해 노트로 옮깁니다. 나는 더 나은 방법을 원하지만 databricks가 한 일은 기껏해야 좋을 수도있다. –

+0

나는 둘 다 Intellij n ensime을 사용하는데, 거의 같다. (적어도 Emacs와는). 나는 jupyter가 미래에 ensime과 통합 될 수 있었으면 좋겠다. 그리고 그것은 scala 쪽을 돌봐야한다. spark-notebook과 zeppline 둘 다 jupyter보다 조금 더 실험적으로 보입니다. 나는 컴파일하거나 함축했다. – user6273920

+0

이전에 ensime + emacs를 테스트했습니다. 나는 intellij가 전반적으로 더 좋으며 또한 더 빠르지 만 여전히 느리다는 것을 발견했다. 나는 그것을 정말로 좋아했다. 이맥을 좋아하는 누군가를 위해 (내가있는), ensime + 이맥스는 신이다! –

답변

0

스파크 2.2에서와 같이 보입니다. 환경 변수를 올바로 설정했는지 확인하십시오. 이제 모든 것이 제대로 작동합니다.

다음은 중요한 것입니다!

export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$SPARK_HOME/python/lib/py4j-0.10.1-src.zip:$PYTHONPATH