Python 3 : 멀티 프로세싱에서 스레드 종료 ThreadPool이 작동하지 않습니다.

Question

저는 Ubuntu 16.04.2 LTS와 Python 3.5.2를 사용하고 있습니다. 나는 ThreadPool에서 multiprocessing 일을하고 있습니다. 이제 작업을 수행하는 동안이 풀을 종료하고 싶습니다.

ThreadPool.terminate()을 사용하면 예상대로 작동하지 않습니다. 다음 예제를 실행하면 작업자가 작업을 중단하지 않으며 프로그램이 ThreadPool.join() 호출을지나 실행되지 않습니다.

import time 
from multiprocessing.pool import ThreadPool 

def task(): 
    try: 
     while True: 
      print("Working") 
      time.sleep(1) 
    except: # Unsuccessful attempt. :(
     print("Working, stopping now") 

thread_pool = ThreadPool(processes=1) 

thread_pool.apply_async(task) 
time.sleep(1) # Make sure the task is actually started. 

print("Terminating") 
thread_pool.terminate() 
print("Termination: Initiated") 
thread_pool.join() # Does not return. 
print("Termination: Done") 

내가 뭘 잘못하고 있니?

Answer 1

구체적으로 Pool이 아닌 ThreadPool을 요청했습니다. 즉, 새 프로세스를 만드는 대신 multiprocessing 코드가 자신의 프로세스에서 로컬 스레드를 생성합니다.

ThreadPool 인스턴스는 (시스템이 os.kill을 호출 할 수있는 프로세스와 달리) 정의 된 메커니즘이 없으므로 갑자기 종료 될 수 없습니다. 코드에서 .terminate 지시어는 무시됩니다. 사실, 이것은 풀 인스턴스가 태스크가 리턴 할 때 검사 할 플래그를 설정하지만 태스크는 리턴하지 않습니다.

$ python3 tp.py 
Working on 0 with i = 0 
Working on 0 with i = 1 
Terminating 
Termination: Initiated 
Working on 0 with i = 2 
Termination: Done 

이 --delay 5으로 실행할 때 :

$ python3 tp.py --delay 5 
Working on 0 with i = 0 
Working on 0 with i = 1 
Working on 0 with i = 2 
Working on 1 with i = 0 
Working on 1 with i = 1 
Terminating 
Working on 1 with i = 2 
Termination: Initiated 
Termination: Done 

다른 방법으로, 경우 인수없이 실행하면이 작업을 수행하는

import argparse 
import sys 
import time 

from multiprocessing.pool import Pool, ThreadPool 

def task(arg): 
    for i in range(3): 
     print("Working on", arg, "with i =", i) 
     time.sleep(1) 

def main(): 
    parser = argparse.ArgumentParser() 
    parser.add_argument('--delay', default=1, type=float) 
    args = parser.parse_args() 

    thread_pool = ThreadPool(processes=1) 

    thread_pool.apply_async(task, (0,)) 
    thread_pool.apply_async(task, (1,)) 
    time.sleep(args.delay) 

    print("Terminating") 
    thread_pool.terminate() 
    print("Termination: Initiated") 
    thread_pool.join() # Does not return. 
    print("Termination: Done") 

if __name__ == '__main__': 
    try: 
     sys.exit(main()) 
    except KeyboardInterrupt: 
     sys.exit('\nInterrupted') 

: 우리는 수정 된 버전이를 볼 수 있습니다 ThreadPool 대신 Pool을 사용하면 실제 프로세스를 얻을 수 있으며 언제든지 .terminate을 사용할 수 있습니다 (일반적인 c 통신 대기열을 망쳐 버릴 수 있습니다.)