Windows에서 다중 처리로 파이썬 로깅

Question

현재 Linux에서 실행되는 다소 큰 Python 프로젝트가 있지만 Windows로 확장하려고합니다. 코드를 내 문제를 설명하기 위해 실행할 수있는 전체 예제로 축소했습니다. 두 클래스 인 Parent and Child가 있습니다. 부모가 먼저 초기화 된 로거를 생성하고 할 수있는 아이로 급부상되는 작업 :

리눅스에

import logging 
import logging.config 
import multiprocessing 

class Parent(object): 
    def __init__(self, logconfig): 
     logging.config.dictConfig(logconfig) 
     self.logger = logging.getLogger(__name__) 

    def spawnChild(self): 
     self.logger.info('One') 
     c = Child(self.logger) 
     c.start() 

class Child(multiprocessing.Process): 
    def __init__(self, logger): 
     multiprocessing.Process.__init__(self) 
     self.logger = logger 

    def run(self): 
     self.logger.info('Two') 

if __name__ == '__main__': 
    p = Parent({ 
      'version':1, 
      "handlers": { 
       "console": { 
        "class": "logging.StreamHandler", 
        "stream": "ext://sys.stdout" 
       }, 
      }, 
      "root": { 
       "level": "DEBUG", 
       "handlers": [ 
        "console", 
        ] 
       } 
      } 
     ) 
    p.spawnChild() 

(특히, 우분투 12.04), 나는 다음 (예상) 출력을 얻을 :

user@ubuntu:~$ python test.py 
One 
Two 

그러나 (특히, 윈도우 7) 윈도우에서, 그것은 산세 오류와 함께 실패합니다 : 객체가 스레드간에 보낼 때 절인 할 필요가 있으므로

C:\>python test.py 
<snip> 
pickle.PicklingError: Can't pickle <type 'thread.lock'>: it's not found as thread.lock 

문제는 진정한 포크의 윈도우의 부족으로 내려 온다. 그러나 로거는 절인 될 수 없습니다. 나는 아이의 이름으로 산 세척 및 참조를 피하기 위해 __getstate__ 및 __setstate__를 사용하여 시도했다 :

def __getstate__(self): 
    d = self.__dict__.copy() 
    if 'logger' in d.keys(): 
     d['logger'] = d['logger'].name 
    return d 

def __setstate__(self, d): 
    if 'logger' in d.keys(): 
     d['logger'] = logging.getLogger(d['logger']) 
    self.__dict__.update(d) 

이것은 이전과 마찬가지로 리눅스에서 작동, 이제 Windows는 PicklingError 실패하지 않을 것이다. 하지만, 내 출력은 부모입니다 :

C:\>python test.py 
One 

C:\> 

아이가 또는 다른 오류 메시지 "어떤 로거 처리기 '__main__'를 찾을 수 없습니다"불평없이 메시지에도 불구하고, 로거를 사용할 수없는 것 같다. 나는 주변을 둘러 보았고 내 프로그램에 로그인하는 방법을 완전히 재구성 할 수있는 방법이 있지만 분명히 마지막 수단입니다. 나는 분명히 무언가를 놓치고 군중의 지혜가 그것을 나에게 지적 할 수 있기를 바라고있다.

Answer 1

대부분의 경우 Logger 개체는 unpicklable theading.Lock 및/또는 file 개체를 내부적으로 사용하기 때문에 picklable이 아닙니다. 시도한 해결 방법은 logger을 제거하지 않지만 자식 프로세스에서 완전히 다른 Logger을 생성합니다. 부모 프로세스의 이름은 Logger입니다. logging.config 전화의 영향은 사라집니다.

: 당신이 __getstate__/ __setstate__ 계속 사용하려는 경우,

class Parent(object): 
    def __init__(self, logconfig): 
     self.logconfig = logconfig 
     logging.config.dictConfig(logconfig) 
     self.logger = logging.getLogger(__name__) 

    def spawnChild(self): 
     self.logger.info('One') 
     c = Child(self.logconfig) 
     c.start() 

class Child(multiprocessing.Process): 
    def __init__(self, logconfig): 
     multiprocessing.Process.__init__(self) 
     self.logconfig = logconfig 

    def run(self): 
     # Recreate the logger in the child 
     logging.config.dictConfig(self.logconfig) 
     self.logger = logging.getLogger(__name__) 

     self.logger.info('Two') 

을 또는 : 당신이 자식 프로세스에서 로거를 다시 할 필요가해야 할 동작을 얻으려면 및logging.config.dictConfig 재 호출

class Parent(object): 
    def __init__(self, logconfig): 
     logging.config.dictConfig(logconfig) 
     self.logger = logging.getLogger(__name__) 
     self.logconfig = logconfig 

    def spawnChild(self): 
     self.logger.info('One') 
     c = Child(self.logger, self.logconfig) 
     c.start() 

class Child(multiprocessing.Process): 
    def __init__(self, logger, logconfig): 
     multiprocessing.Process.__init__(self) 
     self.logger = logger 
     self.logconfig = logconfig 

    def run(self): 
     self.logger.info('Two') 

    def __getstate__(self): 
     d = self.__dict__.copy() 
     if 'logger' in d: 
      d['logger'] = d['logger'].name 
     return d 

    def __setstate__(self, d): 
     if 'logger' in d: 
      logging.config.dictConfig(d['logconfig']) 
      d['logger'] = logging.getLogger(d['logger']) 
     self.__dict__.update(d)