HDInsight의 Jupyter 노트북에서 자신의 모듈 가져 오기

Question

표준 구성 (위치 = 미국 동부, 헤드 노드 = D12 v2 (x2), 작업자 노드 = D4 v2 (x))로 Microsoft Azure에 HDInsight 3.5 Spark 4)). 클러스터가 실행 중일 때 나는 Jupyter 노트북에 연결하고 생성 된 모듈을 가져 오려고합니다. 이것은 불행하게도 작동하지 않습니다

import own_module 

, 그래서 나는) 1 시도 집 Jupyter 노트북에 own_module.py 업로드하고 2) ssh 연결을 통해/홈 /가 sshuser에 own_module.py했다. 이 조작은 또한 작동하지 않습니다

sys.path.append('/home/sshuser') 
os.environ['PYTHONPATH'] = os.environ['PYTHONPATH'] + ':/home/sshuser' 

: 그 후 나는 sys.path에와 PYTHONPATH에/홈 /가 sshuser을 추가했다. 그리고 오류는 여전히 나타납니다 :

No module named own_module 
Traceback (most recent call last): 
ImportError: No module named own_module 

누군가가 자신의 모듈을 가져올 수있는 방법을 말할 수 있습니까? 가급적이면 Azure blob 저장소에 저장 한 다음 HDInsight 클러스터로 전송하면됩니다.

Answer 1

스파크 컨텍스트의 addPyFile 메서드를 사용할 수 있습니다. 먼저 Azure blob 저장소에 파일을 넣은 다음 공용 http/https 주소를 복사하고이 URL을 addPyFile 기능에 사용하십시오. 이 모듈은 운전자와 모든 집행자에게 접근 가능합니다.