mincemeatpy 및 octopy의 대안

Question

간략하게 octopy 및 mincemeatpy는 map-reduce (light-weight)의 python 구현이며 클라이언트는 설치 (옥션, 물론 파이썬 제외)없이 임시 방식으로 클러스터에 참가할 수 있습니다. 다음은 프로젝트 세부 사항 OCTOPY과 Mincemeatpy입니다.

이러한 문제는 전체 데이터 (중간 키 - 값 쌍 포함)를 보유해야하는 문제입니다. 따라서 중간 크기의 데이터 일지라도 메모리 예외가 발생합니다. 내가 그들에게 사용하고

키 - 이유는 다음과 같습니다

1. 파이썬.
2. 클러스터를 설치할 필요가 없습니다.
3. 난 그냥 프로토 타입, 그리고 내가 준비가되면 알고리즘을 직접 포팅 수 있습니다.

내 질문은 : 같은 물건을 다루는 패키지가 있지만 보통 크기의 데이터를 처리 할 수있는 메모리가 아닌 것은 아닙니까?

Answer 1

시도 PyMapReduce. 자체 머신에서 실행되지만 여러 프로세스에서 실행되므로 마스터 노드 아키텍처를 구축 할 필요가 없으며 맵 파일 데이터를 임시 파일에 저장 한 후 감소시킨 것처럼 많은 숫자의 러너가 있습니다 (예 : DiskBasedRunner).