파일에서 숫자 목록을 읽는 가장 빠른 방법

Question

스택 오버플로에서 비슷한 질문을 몇 개 발견했지만 필자의 경우 조언이 도움이 될 수 있다고 생각합니다.

파일에 약 80,000 개의 실제 값 목록을 저장하고 나중에 읽어야합니다.

첫째, 나는 cPickle을 시도했지만 독서 시간은 호소하지 않은 :

>>> stmt = """ 
with open('pickled-data.dat') as f: 
    data = cPickle.load(f) 
""" 
>>> timeit.timeit(stmt, 'import cPickle', number=1) 
3.8195440769195557 

가 그럼 난 일반 텍스트 빨리 읽기 (의미가 허용하는 cPickle 때문에, 숫자를 저장하는 것은 걱정해야한다는 것을 발견 많은 것) :

>>> stmt = """ 
data = [] 
with open('text-data.dat') as f: 
    for line in f: 
     data.append([float(x) for x in line.split()]) 
""" 
>>> timeit.timeit(stmt, number=1) 
1.712096929550171 

이 좋은 개선이다,하지만 난 다른 언어로 작성된 프로그램은 상당히 빠른 파일에서 유사한 데이터를 읽을 수 있기 때문에 나는 아직도, 어떻게 든 그것을 최적화 수 있다고 생각.

아이디어가 있으십니까? NumPy와 배열이 가능한 경우

Answer 1

것은, numpy.fromfile 가능성이

또는 당신이 struct에 조금 더 잘 할 수있는 것 같아 (여기 somewhat related question 난 그냥 몇 일 전에 요청의) 파일을 읽을 수있는 가장 빠른 옵션이 될 것입니다 , 나는 그것을 테스트하지 않았지만 :

import struct 
def write_data(f,data): 
    f.write(struct.pack('i',len())) 
    for lst in data: 
     f.write(struct.pack('i%df'%len(lst),len(lst),*lst)) 

def read_data(f): 
    def read_record(f): 
     nelem = struct.unpack('i',f.read(4))[0] 
     return list(struct.unpack('%df'%nelem,f.read(nelem*4))) #if tuples are Ok, remove the `list`. 

    nrec = struct.unpack('i',f.read(4))[0] 
    return [ read_record(f) for i in range(nrec) ] 

이것은 4 바이트 부동 소수점으로 데이터를 저장하는 것이 충분하다고 가정합니다. 실제 배정도 숫자를 원할 경우 format 문을 f에서 d로 변경하고 nelem*4을 nelem*8으로 변경하십시오. 약간의 이식성 문제가있을 수 있습니다 (endianness 및 sizeof 데이터 유형 예를 들어).