파이썬 계산 클러스터

Question

파이썬 클러스터를 만들려면 텔넷 서버를 작성한 다음 명령을 텔넷으로 보내고 앞뒤로 출력하면됩니까? 누구든지 파이썬 계산 클러스터에 대해 더 좋은 아이디어가 있습니까? PS. 파이썬 3.x의 경우, 누군가가 어떻게 알 수 있다면 바람직합니다.

Answer 1

파이썬 위키는 Python cluster computing libraries and tools이라는 매우 포괄적 인 목록을 제공합니다. 특히 Parallel Python에 관심이있을 수 있습니다.

편집 : 특히 IMHO 클러스터링이 좋은 새 라이브러리가 있습니다 (execnet). 그것은 작고 간단합니다. 그리고 표준 multiprocessing 모듈보다 버그가 적게 나타납니다.

Answer 2

어떤 종류의 작업을 수행 하시겠습니까? hadoop을 확인하시기 바랍니다. 백엔드, 무거운 짐을 자바에서 이루어집니다,하지만 파이썬 인터페이스를 가지고 있으므로 python 스크립트를 작성하고 입력을 보내고 결과를 처리 할 수 ​​있습니다. 이

http://www.parallelpython.com/

http://pyro.sourceforge.net/

에

Answer 3

봐 나는 모두를 사용하고 두 옵션의 자세한 목록은 분산 컴퓨팅
에 대한 우수하다 http://wiki.python.org/moin/ParallelProcessing

하고있는 경우를 참조 원격 머신에서 자동으로 실행하고 싶다면 텔넷에 대한 더 나은 대안은 ssh이다. in http://pydsh.sourceforge.net/

Answer 4

파이썬 3에서 사용할 수있는 대부분의 써드 파티 패키지는 here입니다. 클러스터 계산과 관련된 것은 mpi4py입니다 - pyro와 같은 대부분의 다른 분산 컴퓨팅 도구는 여전히 Python-2만이지만 MPI는 클러스터 분산 계산을위한 주요 표준이며 잘 살펴 봅니다 (파이썬 3에서 mpi4py를 직접 사용하는 경험이 없습니다. , 소문에 의하면 나는 이것이 좋은 구현이라고 믿는다).

주요 대안

는 파이썬의 자신의 내장도 꽤 잘 당신은 MPI 기준을 존중하지만, 파이썬으로 코딩 할 수 없습니다 기존 노드를 인터페이스에 전혀 관심이없는 경우까지 확장 multiprocessing.

자신 만의 진정한 부가 가치가 없습니다 (Atwood는 바퀴를 더 잘 이해하는 것이 목적이 아니라면 바퀴를 재발 명하지 마십시오!) - 견고하고, 테스트되고, 광범위한 솔루션 중 하나를 사용하십시오 !, 이미 디버깅하고 대신에 최적화 된 테스트 -)

Answer 5

는

예 "는 파이썬 클러스터를 만들 수 있을까".

나는 예/아니오 질문을 좋아합니다. 너가 알고 싶은 다른 무엇이라도?

(파이썬 3 아직 몇 타사 라이브러리를 가지고 있습니다, 그래서 당신은 순간에 파이썬 2와 함께 머물 싶어 수 있습니다.)

Answer 6

당신이 관리 스크립트를 작성하는 ClusterShell 파이썬 라이브러리를 살펴해야하는 경우 너무, 또는/그리고 그것의 평행 한 쉘 쇄신. 노드 세트를 다룰 때 유용합니다 (man nodeset).

Answer 7

생각해 보면 IPython.parallel입니다. 나는 지난 1 년 반 동안 광범위하게 사용 해왔다. 원하는만큼 많은 작업자 노드와 대화식으로 작업 할 수 있습니다. AWS를 사용하는 경우 StarCluster은 IPython.parallel을 설치하고 실행할 수있는만큼 많은 EC2 노드로 쉽고 빠르게 실행할 수있는 좋은 방법입니다. (필요하다면 Hadoop과 다양한 유용한 도구를 자동으로 설치할 수도 있습니다.) 사용법에 대한 몇 가지 트릭이 있습니다. (예를 들어, IPython.parallel 인터페이스 자체를 통해 많은 양의 데이터를 보내지 않으려 고합니다. 각 엔진별로 데이터 덩어리를 개별적으로 푸는 스크립트를 배포하는 것이 좋습니다.)하지만 전반적으로, (WAY Hadoop보다 낫다!)