subprocess.communicate를 통해 python 스크립트간에 피클 링 된 객체 출력 전송

Question

두 개의 python 스크립트가 있습니다. object_generator.py는 지정된 객체를 pickle하고 인쇄합니다. 또 다른 스크립트 object_consumer.py는 subprocess.communicate를 통해 첫 번째 스크립트의 출력을 선택하고 pickle.loads를 사용하여 unpickle을 시도합니다. 이 간단한 시나리오 작업을하는 데 문제가 있습니다. 분명히

object_generator.py

import pickle 
import base64 

o = {'first':1,'second':2,'third':3,'ls':[1,2,3]} 
d = pickle.dumps(o) 
print(d) 

#Various Approaches I had tried, none of which worked. Ignore this part. 
#s = base64.b64decode(d) 
#encoded_str = str(d).encode('ascii') 
#print('encoded str is :') 
#print(encoded_str) 
#decoded_str = encoded_str.decode('ascii') 
#print('decoded str is :') 
#print(decoded_str) 
#unpickled_obj = pickle.loads(bytes(decoded_str)) 
#print(unpickled_obj) 
#print(type(d)) 
#print(codecs.decode(d)) 

object_consumer.py

import pickle 
import subprocess 
import os 

dr = '"' + os.path.dirname(os.path.abspath(__file__)) + '\\object_generator.py"' 

cmd = 'python -u ' + dr 

proc = subprocess.Popen(cmd,stdout=subprocess.PIPE) 

try: 
    outs, errs = proc.communicate(timeout=15) 
except TimeoutExpired: 
    proc.kill() 
    outs, errs = proc.communicate() 

# 'out' at this point is something like this : 
# b"b'\\x80\\x03}q\......x05K\\x03u.'\r\n" 
# DO SOMETHING WITH outs to get back the bytes which can then be 
# unpickled using pickle.loads 

obj = pickle.loads(outs) 
print(obj) 

, 나는 쉽지만 무엇을 수행해야 후행 \ r \ n을 벗겨해야이 내 코드입니다 다음 것?

Answer 1

여기에 몇 가지 문제가 있습니다. 먼저 bytes 개체를 object_generator.py에 인쇄하고 있습니다. 파이썬 3.x에서는 str(obj)이 호출되어 결과적으로 b'yourbyteshere'이 인쇄됩니다. 당신은 선도 b' 또는 후행 '을 원하지 않습니다. 이 문제를 해결하려면 bytes 개체를 문자열로 인코딩해야합니다. pickle은 'latin-1' 인코딩을 사용하므로 bytes 개체를 str으로 디코딩하는 데 사용할 수 있습니다. 다른 문제는 Windows에서 기본적으로 sys.stdout에 사용하는 인코딩은 실제로 pickle 문자열을 인쇄하는 것을 지원하지 않는다는 것입니다. 따라서 sys.stdout *의 기본 인코딩을 'latin-1'으로 변경해야하므로 문자열이 올바른 인코딩으로 부모 프로세스에 전달됩니다.

import pickle 
import base64 
import codecs 

o = {'first':1,'second':2,'third':3,'ls':[1,2,3]} 
d = pickle.dumps(o) 
sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding='latin-1') 
print(d.decode('latin-1'), end='', flush=True) # end='' will remove that extra \r\n 

이렇게 변경하면 정상적으로 작동합니다.

편집 :

또 다른 옵션은 부모 프로세스에서 'latin-1'에 PYTHONIOENCODING 환경 변수를 설정하는 것입니다 :

env = os.environ.copy() 
env['PYTHONIOENCODING'] = 'latin-1' 
proc = subprocess.Popen(['python3', 'async2.py'] ,stdout=subprocess.PIPE, env=env) 

_{* 파이썬에서 sys.stdout 인코딩을 변경하는 방법에 대한 추가 정보를 원하시면 this question를 참조하십시오 3. 여기에 나와있는 두 가지 접근법이 모두 언급되어 있습니다.}

Answer 2

필자는 기본 파일이 살아 있어야하며 속도가 느려야하므로 기본 파일과 외부 파일을 인식하지 못하도록 제안하지 않습니다. 내가 마샬 모듈을 사용

이 당신에게 시간을 절약 할 희망 : https://github.com/jstar88/pyCommunicator