JupyterHub를 여러 사용자에게 스트레스 /로드하는 방법은 무엇입니까?

Question

나는이 링크에서 AWS EMR 클러스터에 JupyterHub을 설정하기위한 자습서 다음 : https://aws.amazon.com/blogs/big-data/running-jupyter-notebook-and-jupyterhub-on-amazon-emr/

내가 클러스터 및 실행을 가지고,하지만 지금은 내 질문에 내가/부하 테스트 스트레스를 어떻게입니까? (즉, 노트북을 동시에 실행하는 100 명의 사용자를 시뮬레이트).

교실 환경에서 나는 약 30 명의 사용자가 노트북 연습을 통해 실행되는 클러스터에 침투했지만 더 많은 사람들이 노트북에서 코드 블록을 실행하기 시작했을 때 엄청난 속도 저하가있었습니다. 무슨 일이 있었는지 일부 파이썬 라이브러리 수입은 영원히 걸렸습니다. 일부 운동은 작동을 멈추거나 방금 매달려있었습니다. Cloudwatch는 네트워크 병목 현상이 있음을 보여주었습니다.

기본적으로 내가 묻는 것은 어떻게 그런 디버깅을 할 수 있는가? 다중 사용자를 EMR 클러스터로 시뮬레이트하는 가장 좋은 방법은 jupyter 노트북을 열고 코드 블록을 동시에 실행하는 것입니다.

Answer 1

this one과 같은 프로젝트는 JupyterHub의로드 테스트를위한 것이므로 jupyterHub 조직으로 다시 마이그레이션해야합니다.

JupyterHub를 테스트하고 싶지 않은 경우 클러스터를 테스트하고 있습니다. 라이브러리를 가져 와서 N 개의 스크립트를 병렬로 실행하면로드 테스트가 수행됩니다.