dill 대 cPickle 속도 차이

Question

수천 개의 개체를 직렬화하려고하는데 이러한 개체 중 일부는 람다 ​​개체입니다.

람다에서는 cPickle이 작동하지 않으므로 dill을 사용해 보았습니다. 그러나 계산 속도가 떨어지는 것은 unpickleing (또는 undilling (?))을 할 때 10 배가 넘습니다. 출처를 살펴보면 dill은 내부적으로 pickle을 사용하여 속도 저하의 원인이 될 수 있습니다.

두 가지 모듈의 장점을 결합하는 또 다른 옵션이 있습니까?

EDIT : 가장 중요한 속도 저하는 unpickleing 중입니다.

Answer 1

저는 dill입니다. 예, dill은 일반적으로 속도가 느리지 만보다 강력한 직렬화에 대한 대가로 지불해야합니다. 많은 클래스와 함수를 직렬화하는 경우 dill.settings에 dill 변형 중 하나를 사용하려고 할 수 있습니다. byref=True을 사용하는 경우 dill은 여러 객체를 참조로 피클 링합니다 (기본값보다 빠름). 다른 설정은 선택한 객체의 속도에 대한 선택 가능성을 조정합니다. 내 질문에 명시된 바와 같이

In [1]: import dill 

In [2]: f = lambda x:x 

In [3]: %timeit dill.loads(dill.dumps(f)) 
1000 loops, best of 3: 286 us per loop 

In [4]: dill.settings['byref'] = True 

In [5]: %timeit dill.loads(dill.dumps(f)) 
1000 loops, best of 3: 237 us per loop 

In [6]: dill.settings 
Out[6]: {'byref': True, 'fmode': 0, 'protocol': 2, 'recurse': False} 

In [7]: dill.settings['recurse'] = True 

In [8]: %timeit dill.loads(dill.dumps(f)) 
1000 loops, best of 3: 408 us per loop 

In [9]: class Foo(object): 
    ...:  x = 1 
    ...:  def bar(self, y): 
    ...:   return y + self.x 
    ...:  

In [10]: g = Foo() 

In [11]: %timeit dill.loads(dill.dumps(g)) 
10000 loops, best of 3: 87.6 us per loop 

In [12]: dill.settings['recurse'] = False 

In [13]: %timeit dill.loads(dill.dumps(g)) 
10000 loops, best of 3: 87.4 us per loop 

In [14]: dill.settings['byref'] = False 

In [15]: %timeit dill.loads(dill.dumps(g)) 
1000 loops, best of 3: 499 us per loop 

In [16]: