Twisted를 사용한 단순한 비 네트워크 동시성

Question

Python에서 간단한 동시성을 위해 Twisted를 사용하는 데 문제가 있습니다. 문제는 - 어떻게 해야할지 모르겠지만 모든 온라인 리소스는 Twisted 네트워킹 능력에 관한 것입니다. 그래서 나는 약간의 지침을 위해 SO-gurus로 눈을 돌리고 있습니다.

파이썬 2.5가 사용됩니다.

다음과 같이 내 문제의

단순화 된 버전이 실행 :

1. 과학적 데이터
2. 데이터를 우적 출력
3. 을 생성하는 기능의 무리 ??? < 여기 동시성 입사 그것은 1 데이터 청크를 취하고 2
4. 출력 3에서 합류하고

내 추측 트위스트 reactor가 참조 할 수 있다는 저장에 공급 세 일. 그러나 어떻게?

도움과 제안을 많이 보내 주셔서 감사합니다.

upd1 :

간단한 예제 코드. 프로세스와 어떤 생각이 어떻게 반응 거래, 그래서 나는 그것을 상상의 기능이 제공되지 않은 :

datum = 'abcdefg' 

def dataServer(data): 
    for char in data: 
     yield chara 

def dataWorker(chara): 
    return ord(chara) 

r = reactor() 
NUMBER_OF_PROCESSES_AV = 4 
serv = dataserver(datum) 
id = 0 
result = array(len(datum)) 

while r.working(): 
    if NUMBER_OF_PROCESSES_AV > 0: 
     r.addTask(dataWorker(serv.next(), id) 
     NUMBER_OF_PROCESSES_AV -= 1 
     id += 1 
    for pr, id in r.finishedProcesses(): 
     result[id] = pr 

Answer 1

Twisted가 어떻게 작동하는지에 대한 기본 지식을 오해하고있는 것 같습니다. Twisted Intro에 Dave Peticolas을 (를) 촬영하는 것이 좋습니다. 저에게 큰 도움이되었으며, 저는 수년간 Twisted를 사용해 왔습니다!

힌트 : Twisted의 모든 항목은 reactor!

The Reactor Loop http://krondo.com/blog/wp-content/uploads/2009/07/reactor-1.png

Answer 2

실제로 동시에 일을 계산하기 위해, 여러 파이썬 프로세스를 사용하는 아마가 필요합니다. 하나의 파이썬 프로세스가 계산을 인터리빙 할 수 있지만, 예외는 있지만 병렬로 실행하지는 않습니다.

Twisted는 이러한 여러 프로세스를 조정하고 그 결과를 수집하는 좋은 방법입니다. 이 과제를 해결하기위한 하나의 라이브러리는 Ampoule입니다. Ampoule에 대한 자세한 내용은 Launchpad 페이지 https://launchpad.net/ampoule에서 확인할 수 있습니다.

Answer 3

전혀 뒤틀 렸습니까?

문제에 대한 설명에서 나는 multiprocessing이 청구서에 부합 할 것이라고 말하고 싶습니다. 하나의 Queue 인스턴스에 대한 참조가 제공된 Process 개체를 여러 개 만듭니다. 그들에게 일을 시작하고 그 결과를 Queue에 올리게하십시오. 결과를 읽으려면 블록 get()을 사용하십시오.

Answer 4

Jean-Paul이 말했듯이 Twisted는 여러 프로세스를 조정하는 데 적합합니다. 그러나 Twisted를 사용해야하고 분산 된 처리 풀만 필요로하지 않는다면 거기에 더 적합한 도구가있을 수 있습니다.

내가 언급 할 수없는 생각할 수있는 것은 celery입니다. Celery는 분산 작업 대기열입니다. DB, Redis 또는 RabbitMQ (여러 가지 무료 소프트웨어 옵션 중에서 선택할 수 있음)를 실행하는 작업 대기열을 설정하고 여러 가지 계산 작업을 작성합니다. 이들은 임의의 과학적 컴퓨팅 유형의 작업 일 수 있습니다. 태스크는 하위 태스크를 생성 할 수 있습니다 (위에서 언급 한 "참여"단계 구현). 그런 다음 필요한만큼 많은 노동자를 시작하고 멀리 계산하십시오.

저는 Twisted and Celery의 사용자가 많기 때문에 두 옵션 모두 좋습니다.