파이썬 다중 처리 - 참조 된 객체는 언제 공유합니까? 언제 복사됩니까?

Question

데이터 구조가 L (목록, dict ... 일 수 있습니다.) 및 여러 프로세스를 읽어야합니다. 느리기 때문에 multiprocessing.Manager을 사용하고 싶지 않습니다.

L이 수정되지 않은 경우 internet은 copy-on-write 덕분에 자식 프로세스가 완전히 복사하지 않는다고 말했습니다. 그러나 객체가 a에 의해 참조되는 경우 L은 자체가 수정됩니까? copy-on-write는 여전히 적용됩니까? 예 : 모듈 a와

from multiprocessing import Pool 
from a import A 

READONLYLIST = list(range(pow(10, 6))) # list will never be modified 
a = A(READONLYLIST) # object a will be modified 

def worker(x): 
    return a.worker(x) 

print(Pool(2).map(worker, range(10))) 

같이

이

import random 

class A(object): 
    def __init__(self, readonlylist): 
     self.readonlylist = readonlylist 
     self.v = 0 

    def worker(self, x): 
     self.v = random.random() # modify the object 
     return x + self.readonlylist[-1] 

READONLYLIST 완전히이 경우 자식 프로세스로 복사 할 수 있습니까?

Answer 1

파이썬 multiprocessing은 프로세스간에 메모리를 공유하지 않고 프로세스간에 메모리를 공유하지 않고 (피연산자를 포함하여) 프로세스를 피클 링 (개체를 문자열로 나타냄)하여 전달합니다. 따라서 풀 내에서 함수를 호출하면 주 프로세스가 함수를 pickle하고 함수의 절편 된 표현을 각 하위 프로세스로 전달한 다음 각 하위 프로세스가 해당 함수를 자체 메모리에 둡니다.