2010-01-12 18 views
5

파이썬은 SMP 기반 시스템이나 클러스터에서 병렬 처리를 돕기 위해 many different packages available을 갖고있는 것으로 보입니다. 큐가 비게 될 때까지 서버가 작업 대기열을 유지하고 클라이언트 (로컬 또는 원격)가 연결하고 작업을 실행하는 클라이언트 서버 시스템을 구축하는 데 관심이 있습니다. 위에 나열된 패키지 중에서 권장되는 패키지와 그 이유는 무엇입니까?파이썬 병렬 처리 라이브러리

편집 : 특히, 나는 몇 가지 입력에 소요 잠시 일을 처리하는 시뮬레이터를 작성했습니다. 나는 사용자 지정 신뢰 구간 내에서 평균을 추정하기 위해 시뮬레이션으로부터 충분한 샘플을 수집해야한다. 속도를 높이기 위해 여러 시스템에서 시뮬레이션을 실행할 수 있기를 원합니다. 각 시스템은 수집 한 샘플을 사용하여 일정 기간마다 서버에 다시보고합니다. 그런 다음 서버는 신뢰 구간을 계산하고 클라이언트 프로세스를 계속 진행해야하는지 여부를 결정합니다. 충분한 샘플을 수집 한 후 서버는 모든 클라이언트 시뮬레이션을 종료하고 과거 결과를 기반으로 시뮬레이션을 재구성 한 다음 프로세스를 반복합니다. 클라이언트와 서버 프로세스 간의 상호 통신이 필요로

, 나는 일괄 예약이 가능한 솔루션인지 의문을 제기. 미안 나는 처음부터 더 분명히 했어야했다. 목표는 하나가 제목에서 짐작으로 병렬 응용 프로그램을 개발하는 경우

+0

는 스케줄러를 찾는 것처럼 보입니까? –

답변

2

전체 작업 스케줄링, 클러스터 (즉, HDFS)에서 데이터의 자동 데이터 분포를 가지고 있기 때문에, 하둡 자체는 좋은 것입니다. 사용하기 쉽고 원하는 작업 및 대기열 인터페이스를 제공해야합니다.

0

당신이 귀하의 질문에 "과학 컴퓨팅을"태그 점을 감안, 그리고 클러스터를 언급, MPI 래퍼의 어떤 종류는 분명한 선택을 보인다. 그럼 다시, 귀하의 질문에 텍스트 배치 스케줄러를 개발하려는 제안합니다. 그래서 당신이 묻고있는 질문을 정말로 모르겠습니다.

+0

클라이언트 프로세스 간에는 상호 작용이 없지만 큐/서버는 개별 클라이언트 프로세스 결과에 따라 변경됩니다. 여러 워크 스테이션에서 동적으로 많은 작업을 관리 할 수 ​​있어야합니다. –

+0

오. 이 경우 대부분의 사람들은 콘도르 나 SLURM과 같은 기존 일괄 처리 스케줄러에 많은 작업을 제출하고 출력을 구문 분석하고 필요한 경우 새 작업을 제출하는 스크립트를 가지고 있습니다. 이는 맞춤 배치 스케줄러를 작성하는 것보다 훨씬 적은 노력입니다. – janneb

0

아마 출력에 대한 중간 샘플들이 마무리로 파일 (또는 데이터베이스)를 분리하고, 프로세스가 때때로 그들이 충분한 있다면 볼이 출력 파일을 폴링해야하는 것이이 작업을 수행하는 가장 간단한 방법 이상의 작업하는 경우 제출해야합니다.