왼쪽에서자를 수있는 파이썬 버퍼?

Question

지금은 문자열, StringIO 또는 cStringIO를 사용하여 바이트를 버퍼링하고 있습니다. 하지만 버퍼의 왼쪽에서 바이트를 제거해야하는 경우가 자주 있습니다. 순진적인 접근 방식은 전체 버퍼를 다시 작성합니다. 왼쪽 잘림이 매우 일반적인 작업 인 경우이를 수행하는 최적의 방법이 있습니까? 파이썬의 가비지 컬렉터는 실제로 잘라 버린 바이트를 GC해야합니다.

어떤 종류의 알고리즘 (작은 조각으로 버퍼를 유지 하시겠습니까?) 또는 기존 구현이 실제로 도움이됩니다.

편집 :

나는이 파이썬 2.7의 memoryview을 사용하려고하지만, 슬프게도, "보기"외부 데이터 원본 참조가 삭제 될 때 GCed되지 않습니다 :

# (This will use ~2GB of memory, not 50MB) 

memoryview # Requires Python 2.7+ 

smalls = [] 

for i in xrange(10): 
    big = memoryview('z'*(200*1000*1000)) 
    small = big[195*1000*1000:] 
    del big 
    smalls.append(small) 
    print '.', 

Answer 1

deque는 효율적인 것 목록, 문자열 또는 버퍼, 양끝 제거를 위해 O (1)을 상각합니다). 그러나 문자열보다는 메모리를 사용하는 것이 비용이 많이들 것입니다. 패킹 된 시퀀스가 ​​아닌 각 문자열을 자체 문자열 개체로 저장하기 때문입니다.

또는 고정 된 크기의 문자열/버퍼 객체의 링크 된 목록과 같은 사용자 고유의 구현을 만들어 데이터를 더 압축 적으로 저장할 수 있습니다.

Answer 2

버퍼를 문자 또는 줄의 목록으로 작성하고 목록을 분할하십시오. 출력시 문자열로만 결합하십시오. 이것은 대부분의 유형의 '변경 가능한 문자열'동작에 매우 효율적입니다.

GC는 더 이상 목록에서 참조되지 않기 때문에 잘린 바이트를 수집합니다.

업데이트 : 목록 머리를 수정하려면 간단히 목록을 뒤집을 수 있습니다. 이것은 비효율적 인 일이지만, python의리스트 구현은 내부적으로 이것을 최적화합니다. http://effbot.org/zone/python-list.htm에서

:

반전은 빠르고, 그래서 당신이 목록의 시작 부분에 제거하고 항목의 무리를 삽입해야하는 경우 목록을 반전 일시적으로 종종 일 최대 속도를 높일 수 :

왼쪽 제거 동작이 사용을 달리 (빈번한 경우

L.reverse() 
# append/insert/pop/delete at far end 
L.reverse()