파일 객체의 버퍼 크기를 찾는 방법이 있습니까?

Question

매우 큰 ascii 파일을 "매핑"하려고합니다. 기본적으로 특정 태그를 찾을 때까지 줄을 읽은 다음 해당 태그의 위치를 ​​알고 나중에 관련 데이터를 꺼내기 위해 다시 찾을 수 있습니다.

from itertools import dropwhile 
with open(datafile) as fin: 
    ifin = dropwhile(lambda x:not x.startswith('Foo'), fin) 
    header = next(ifin) 
    position = fin.tell() 

이제이 tell이 올바른 위치를 제공하지 않습니다. 이 질문은 다양한 형태로 이전에 요청되었습니다. 그 이유는 아마도 파이썬이 파일 객체를 버퍼링하기 때문일 것입니다. 그래서 파이썬은 파일 포인터가 어디에 있는지 알려주고 파일 포인터는 어디에 있는지 알려줍니다. I don't want to turn off this buffering ... 여기 성능이 중요합니다. 그러나, 파이썬이 얼마나 많은 바이트를 버퍼링할지 결정하는 방법이 있는지를 아는 것이 좋다. 제 실제 적용에서, 제가 Foo으로 시작하는 줄을 닫는 한 그것은 중요하지 않습니다. 나는 여기 저기에 몇 줄을 떨어 뜨릴 수있다. 버퍼 크기를 찾는 것에 대해 갈 수있는 방법이

position = fin.tell() - buffer_size(fin) 

가있다 : 그래서, 실제로 일을 계획하고있어이 같은입니까?

Answer 1

내게는 Cpython에서 버퍼 크기가 hard-coded 인 것처럼 보입니다. 8192가 될 수 있습니다. 내가 말할 수있는 한, 파이썬 인터페이스에서이 번호를 얻는 방법은 없습니다. 단 한 줄만 읽으면됩니다. 파일을 읽으려면 f.tell()을 수행하여 실제로 얼마나 많은 양의 데이터를 읽었는지 파악한 다음 계속하기 전에 파일의 시작 부분을 찾으십시오. 물론

with open(datafile) as fin: 
    next(fin) 
    bufsize = fin.tell() 
    fin.seek(0) 

    ifin = dropwhile(lambda x:not x.startswith('Foo'), fin) 
    header = next(ifin) 
    position = fin.tell() 

,이 첫 번째 줄 이상 8192 바이트보다 긴하는 경우에 실패,하지만 내 응용 프로그램에 대한 실제 결과의 아니에요.