저는 python으로 spark jdbc를 사용하고 싶습니다. 그러나bluemix spark에서 python notebook에 항아리를 추가하는 방법은 무엇입니까?
%AddJar http://central.maven.org/maven2/org/apache/hive/hive-jdbc/2.0.0/hive-jdbc-2.0.0.jar -f
응답 :
이ERROR: Line magic function `%AddJar` not found.
가 어떻게 파이썬 스크립트에서 JDBC jar 파일을 추가 할 수 있습니다 첫 번째 단계는 항아리를 추가했다?
현재, 이것은 파이썬 노트북에서만 가능하지 않습니다. 그러나 그것은 중요한 요구 사항으로 이해됩니다. 이 기능이 지원 될 때까지 할 수있는 일은 파이썬 노트북의 동일한 스파크 서비스 인스턴스에서 스칼라 노트를 만들고 거기에서 %AddJar을 만듭니다. 그런 다음 동일한 스파크 서비스 인스턴스의 모든 파이썬 노트북에 액세스 할 수 있습니다. 스칼라 nb에서 jar 파일을 추가 할 때 활성화 된 py 노트북의 경우 커널을 다시 시작해야합니다.
이것은 Jupyter 4 이상의 노트북 인스턴스에서는 작동하지만 초기 IPython 노트북 인스턴스에서는 작동하지 않습니다. 노트북에서 도움말 -> 정보 메뉴에서 버전을 확인하십시오. 최근 작성된 새 노트북 인스턴스는 Jupyter 4 이상이됩니다.
노트북의 파이썬 커널에서 % Addjar가 노트북의 스칼라 커널 마법 함수라고 생각하지 않습니다.
파이썬 커널에이 항아리를 추가하려면 서비스 제공 업체에 의존해야합니다.
시도해 볼 수있는 또 다른 사항은 sc.addjar()이지만 작동 방법을 잘 모르는 경우입니다.
Add jar to pyspark when using notebook
감사합니다, 찰스.
이 작업을 시도 할 수 있습니다 :
spark.sparkContext.addFile("filename")