GPU 클러스터에서 파이썬을 구성하는 방법은 무엇입니까?

Question

하나의 스토리지 노드와 여러 개의 컴퓨팅 노드가있는 GPU 클러스터에는 각각 8 개의 GPU가 있습니다. 클러스터를 구성하고 있습니다.

하나의 임무는 파이썬을 구성하는 것입니다. 우리는 파이썬과 파이썬 패키지의 여러 버전을 필요로하며, 일부 패키지의 경우 다른 버전의 텐소 흐름과 같이 여러 패키지를 요구할 수 있습니다.

그래서 질문은 python과 패키지를 구성하여 사용하려는 다른 버전의 패키지를 사용하는 것이 편리하도록하는 방법입니다.

저는 각 컴퓨팅 노드와 저장소 노드에 python2.7과 python3.6을 모두 설치했습니다. 하지만 구성 할 컴퓨팅 노드가 엄청나게 많으면 좋은 방법이라고 생각합니다. 해결 방법 중 하나는 기본/usr/local 경로 대신 python을 클러스터의 공유 디렉토리에 설치하는 것입니다. 누구든지 더 좋은 방법이 있습니까?

내가 지금 사용하는 것은 OpenPBS (Torque)이며 HPC를 처음 사용합니다.

고마워요.

Answer 1

특정 디렉토리 아래의 스토리지 노드에 각 소프트웨어를 설치하고 해당 디렉토리를 계산 노드에 마운트 할 수 있습니다. 그렇다면 각 소프트웨어를 여러 번 설치할 필요가 없습니다.

이 문제에 대한 일반적인 해결책은 Environment Modules입니다. 소프트웨어를 모듈로 설치합니다. 이는 모듈 파일과 함께 소프트웨어가 특정 디렉토리 (예 : /opt/modules/python/3.6/)에 설치되었음을 의미합니다. 당신이 module load python/3.6 이렇게하면 modulefile은 Python3.6이되도록 환경 변수를 설정하는 등 PATH, PYTHONPATH에서

이 소프트웨어 스택의 좋은 분리 결과도 엉망으로하지 않고 tensorflow의 최신 버전을 설치할 수 있습니다 환경.

Answer 2

모든 노드에서 액세스 할 수있는 공유 디렉토리에 Modules software environment을 설치할 수 있습니다. 그 다음은 파이썬이나 TensorFlow의 특정 버전을로드하기 쉬운 것입니다 : 어떤 패키지에 대해 우리가 여러 버전이 필요할 수 있습니다 경우,

module load lang/Python/3.6.0 
module load lib/Tensorflow/1.1.0 

그런 다음 여러 버전을 설치하도록 허용 Python virtualenv을 살펴 수 있습니다 같은 패키지. 모든 노드에서 공유하려면 가상 마운트 지점을 공유 마운트 지점에 만들 것을 고려하십시오.