2016-12-15 2 views
1
EMR을 사용

메신저 및 jupyter (ipython)를 사용하고 싶어 그래서 내가 클러스터에 부트 스트랩 동작 추가 : S3를 :AWS EMR의 jupyter 암호

을 //elasticmapreduce.bootstrapactions/ipython-notebook/install-ipython-notebook 내 로컬 호스트에서 jupyter에 액세스하기 위해 포트 튜닝을 수행했으나 제대로 작동하지만 로그인 비밀번호를 묻는 중 비어있는 시도를했으나 행운을 보지 못했지만 어떤 신체가 jypyter 비밀번호를 알고 있습니까?

답변

0

동일한 부트 스트랩 작업을 사용했을 때도이 문제가 발생했습니다. 나는 또한 노력을 얻을 수 없었던 Args=[--password, jupyter]을 추가하려고 시도했다. 즉 this AWS 포럼에서였다 내가 대신 무슨 짓을

Name='Install Jupyter notebook',Path="s3://aws-bigdata-blog/artifacts/aws-blog-emr-jupyter/install-jupyter-emr5.sh",Args=[--r,--julia,--toree,--torch,--ruby,--ds-packages,--ml-packages,--python-packages,'ggplot nilearn',--port,8880,--password,jupyter,--jupyterhub,--jupyterhub-port,8001,--cached-install,--notebook-dir,s3://<your-s3-bucket>/notebooks/,--copy-samples]

는 CLI를 사용하여 EMR 인스턴스에 직접 아나콘다를 설치하는 these instructions을 따르도록했다. 당신이 첫 번째 부분을 수행한다면 당신은 그것을 깨달을 수 있어야합니다. 여기 요약하면 :

  • SSH를 마스터 EMR 인스턴스로는 슈퍼 사용자 priveledges를 사용하여 아나콘다 설치하려는거야 거기 후에는
  • 을 저장 한 .PEM 파일 사용 : sudo wget http://repo.continuum.io/archive/Anaconda3-4.1.1-Linux-x86_64.sh합니다. 그런 다음 bash Anaconda3–4.1.1-Linux-x86_64.sh
  • 당신은 파이썬의 아나콘다 버전을 사용하고 있는지 확인 : which python
  • 당신은 소스를 지정하지 않을 경우 : jupyter에 jupyter notebook --generate-config
  • CD : source .bashrc
  • 는 이제 jupyter 설정 파일을을 폴더 : cd ~/.jupyter/
  • 갱신 설정 파일 : vi jupyter_notebook_config.py
  • 설정 파일에 다음을 추가 라인 :

    c = get_config() c.NotebookApp.ip = '*' c.NotebookApp.open_browser = False c.NotebookApp.port = 6789 < --- 당신이 설정 편집기에서

  • 종료를 원하는 중 포트를 선택하고를 통해 jupyter 실행합니다 (지금은) 어떤 활성 커널과 노트북을 실행해야합니다 jupyter notebook

  • 이. 그러나 당신이 찾고있는 토큰을 줄 것이다 : http://localhost:6789/?token=xxxxxx

  • 이 실행을 남겨두고 새로운 터미널 창을여십시오. 이제이 aws blog post에 따라 EMR 인스턴스로 터널링 할 수 있습니다 (포트를 설정 파일에서 지정한 것과 동일하게 만드십시오). ssh -o ServerAliveInterval=10 -i <<credentials.pem>> -N -L 8192:<<master-public-dns-name>>:8192 [email protected]<<master-public-dns-name>>

  • 브라우저에서 localhost : 6789를 열면 jupyter 페이지가 나타나 암호 또는 토큰을 입력하라는 메시지가 표시됩니다. 위의 단계에서 생성 된 토큰을 입력하십시오.

희망이 있습니다. 덜 복잡한 방식 일 수 있지만, 이것이 결국 나를 위해 일하게 된 것입니다.

+0

나는 [두 번째 경로] (https://medium.com/josemarcialportilla/getting-spark-python-and-jupyter-notebook-running-on-amazon-ec2-dec599e1c297)를 따라 왔으며 jupyter 노트북에 액세스 할 수 있지만 이는 클러스터가 아닌 독립형 EC2 시스템이었습니다. 동일한 접근 방식이 클러스터에서 작동합니까?모든 노드에 설치해야합니까? 그것은 다소 서투른 것입니다. [첫 번째 경로] (https://aws.amazon.com/blogs/big-data/running-jupyter-notebook-and-jupyterhub-on-amazon-emr/)에서 나는 어떻게 든 얻을 수 없습니다. 주피터 허브에만있는 ​​노트북 – Calcutta

관련 문제