파이썬 - 파일에 numpy 배열 저장 (가장 작은 크기 가능)

Question

지금 당장은 매우 큰 2D numpy 배열을 만들고 numpy.savetxt를 사용하여 탭으로 구분 된 텍스트 파일로 저장하는 파이썬 프로그램이 있습니다. numpy 배열에는 float 만 포함됩니다. 그런 다음 별도의 C++ 프로그램에서 한 번에 한 행씩 파일을 읽습니다.

나는이 두 프로그램 사이를 통과하는 파일의 크기를 줄이기 위해 코드를 가능한 한 변경하지 않고 동일한 작업을 수행하는 방법을 찾고자합니다.

numpy.savetxt를 사용하여 텍스트 파일 대신 압축 .gz 파일을 저장할 수 있음을 발견했습니다. 이렇게하면 파일 크기가 ~ 2MB에서 ~ 100KB로 줄어 듭니다.

더 좋은 방법이 있나요? 공간을 절약하기 위해 numpy 배열을 파일에 바이너리로 쓸 수 있습니까? 그렇다면 어떻게하면 C++ 프로그램으로 읽을 수 있을까요?

도움 주셔서 감사합니다. 내가 얻을 수있는 지침에 감사드립니다.

편집 :

제로의 많은 내가 어떻게 든이 생각을 악용 작은 파일을 생성 할 수있는 방법 확실하지 않다가합니다 (NumPy와 배열에있는 값의 아마 70 %는 0.0000을하는) 것을 내 C++ 프로그램을 읽을 수 있습니다

Answer 1

0이 많으므로 양식에 0이 아닌 요소 (색인, 숫자) 만 쓸 수 있습니다. 이제 당신은 단지 데이터의 수가 적은

In [11]: x, y = a.nonzero() 

In [12]: zip(x,y) 
Out[12]: [(3, 1), (7, 4), (9, 0)] 

In [13]: nonzero = zip(x,y) 

:

이

In [5]: a = np.zeros((10, 10)) 

In [6]: a 
Out[6]: 
array([[ 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], 
     [ 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], 
     [ 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], 
     [ 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], 
     [ 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], 
     [ 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], 
     [ 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], 
     [ 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], 
     [ 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], 
     [ 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.]]) 

In [7]: a[3,1] = 2.0 

In [8]: a[7,4] = 17.0 

In [9]: a[9,0] = 1.5 

첫째, 흥미로운 숫자와 그들의 인덱스를 분리 :

하면 0이 아닌 숫자 소량의 배열이 있다고 가정 요소는 왼쪽.가장 쉬운 것은 텍스트 파일에 기록하는 것입니다

In [17]: with open('numbers.txt', 'w+') as outf: 
    ....:  for r, k in nonzero: 
    ....:   outf.write('{:d} {:d} {:g}\n'.format(r, k, a[r,k])) 
    ....:   

In [18]: cat numbers.txt 
3 1 2 
7 4 17 
9 0 1.5 

이 또한 당신에게 데이터를 안구 할 수있는 기회를 제공합니다. C++ 프로그램에서는 fscanf으로이 데이터를 읽을 수 있습니다.

하지만 당신은 더 struct 사용하여 이진 데이터를 작성하여 크기를 줄일 수 있습니다 :

이

In [17]: import struct 

In [19]: c = struct.Struct('=IId') 

In [20]: with open('numbers.bin', 'w+') as outf: 
    ....:  for r, k in nonzero: 
    ....:   outf.write(c.pack(r, k, a[r,k])) 

Struct 생성자에 대한 인수는 의미; 원시 날짜 형식 '='을 사용하십시오. 첫 번째 및 두 번째 데이터 요소는 부호없는 정수 'I'이고 세 번째 요소는 두 배 'd'입니다.

C++ 프로그램에서이 데이터는 바이너리 데이터로 포장 된 struct으로 가장 잘 읽을 수 있습니다.

편집 : 2D 배열에 대한 답변이 업데이트되었습니다.

Answer 2

python 및 c++에 대해 추가 패키지를 설치하는 데 신경 쓸 필요가 없다면 [BSON][1] (이진 JSON)을 사용할 수 있습니다.

Answer 3

numpy.ndarray.tofile 및 numpy.fromfile은 파이썬에서 직접 바이너리 출력/입력하는 데 유용합니다. std::ostream::writestd::istream::read은 C++의 이진 출력/입력에 유용합니다.

데이터가 한 시스템에서 다른 시스템으로 전송되는 경우 엔디안에주의해야합니다.

Answer 4

endianness 등에 대해 걱정할 필요가 없다면, @ unutbu의 대답과 @ jorgeca의 설명에서 설명한 것처럼 numpy.savez을 사용하는 것이 가장 좋습니다 : numpy's tostring/fromstring --- what do I need to specify to restore the array.

결과 크기가 작지 않은 경우 항상 zlib (파이썬 측에 : import zlib, C++ 측에 구현이 존재 함)이 있습니다.

대체 방법으로는 hdf5 형식을 사용하는 것이 좋습니다. 디스크의 파일 크기를 반드시 줄이지는 않지만 저장 /로드 속도가 빨라집니다 (이 형식은 대형 데이터 배열 용으로 설계된 것입니다). hdf5에 대한 파이썬과 C++ 리더/라이터가 있습니다.

Answer 5

hdf5 파일을 사용하면 h5py를 통해 사용하기가 정말 쉽고 플래그 설정 압축을 사용할 수 있습니다. hdf5에는 C++ 인터페이스도 있습니다.