동일한 부트 스트랩 작업을 사용했을 때도이 문제가 발생했습니다. 나는 또한 노력을 얻을 수 없었던 Args=[--password, jupyter]
을 추가하려고 시도했다. 즉 this AWS 포럼에서였다 내가 대신 무슨 짓을
Name='Install Jupyter notebook',Path="s3://aws-bigdata-blog/artifacts/aws-blog-emr-jupyter/install-jupyter-emr5.sh",Args=[--r,--julia,--toree,--torch,--ruby,--ds-packages,--ml-packages,--python-packages,'ggplot nilearn',--port,8880,--password,jupyter,--jupyterhub,--jupyterhub-port,8001,--cached-install,--notebook-dir,s3://<your-s3-bucket>/notebooks/,--copy-samples]
는 CLI를 사용하여 EMR 인스턴스에 직접 아나콘다를 설치하는 these instructions을 따르도록했다. 당신이 첫 번째 부분을 수행한다면 당신은 그것을 깨달을 수 있어야합니다. 여기 요약하면 :
- SSH를 마스터 EMR 인스턴스로는 슈퍼 사용자 priveledges를 사용하여 아나콘다 설치하려는거야 거기 후에는
- 을 저장 한 .PEM 파일 사용 :
sudo wget http://repo.continuum.io/archive/Anaconda3-4.1.1-Linux-x86_64.sh
합니다. 그런 다음 bash Anaconda3–4.1.1-Linux-x86_64.sh
- 당신은 파이썬의 아나콘다 버전을 사용하고 있는지 확인 :
which python
- 당신은 소스를 지정하지 않을 경우 : jupyter에
jupyter notebook --generate-config
- CD :
source .bashrc
- 는 이제 jupyter 설정 파일을을 폴더 :
cd ~/.jupyter/
- 갱신 설정 파일 :
vi jupyter_notebook_config.py
설정 파일에 다음을 추가 라인 :
c = get_config() c.NotebookApp.ip = '*' c.NotebookApp.open_browser = False c.NotebookApp.port = 6789
< --- 당신이 설정 편집기에서
종료를 원하는 중 포트를 선택하고를 통해 jupyter 실행합니다 (지금은) 어떤 활성 커널과 노트북을 실행해야합니다 jupyter notebook
이. 그러나 당신이 찾고있는 토큰을 줄 것이다 : http://localhost:6789/?token=xxxxxx
이 실행을 남겨두고 새로운 터미널 창을여십시오. 이제이 aws blog post에 따라 EMR 인스턴스로 터널링 할 수 있습니다 (포트를 설정 파일에서 지정한 것과 동일하게 만드십시오). ssh -o ServerAliveInterval=10 -i <<credentials.pem>> -N -L 8192:<<master-public-dns-name>>:8192 [email protected]<<master-public-dns-name>>
브라우저에서 localhost : 6789를 열면 jupyter 페이지가 나타나 암호 또는 토큰을 입력하라는 메시지가 표시됩니다. 위의 단계에서 생성 된 토큰을 입력하십시오.
희망이 있습니다. 덜 복잡한 방식 일 수 있지만, 이것이 결국 나를 위해 일하게 된 것입니다.
나는 [두 번째 경로] (https://medium.com/josemarcialportilla/getting-spark-python-and-jupyter-notebook-running-on-amazon-ec2-dec599e1c297)를 따라 왔으며 jupyter 노트북에 액세스 할 수 있지만 이는 클러스터가 아닌 독립형 EC2 시스템이었습니다. 동일한 접근 방식이 클러스터에서 작동합니까?모든 노드에 설치해야합니까? 그것은 다소 서투른 것입니다. [첫 번째 경로] (https://aws.amazon.com/blogs/big-data/running-jupyter-notebook-and-jupyterhub-on-amazon-emr/)에서 나는 어떻게 든 얻을 수 없습니다. 주피터 허브에만있는 노트북 – Calcutta