데이터가 너무 커서 전체를 읽을 수 없을 때 HDF5 형식 파일의 데이터를 부분적으로 읽는 방법

Question

과학적 연구 목적으로 HDF5 형식 데이터를 분석하고 있습니다. 파이썬의 h5py 라이브러리를 사용하고 있습니다.

이제 내가 읽고 자하는 HDF 파일이 너무 큽니다. 파일 크기는 약 20GB이고 데이터의 주요 부분은 400,000 * 10000 플로트 매트릭스입니다. 데이터를 한 번 읽으려고했지만 Spyder가 메모리가 부족하여 강제로 종료되었습니다. 그런 다음 부분적으로 읽거나이 문제를 방지 할 수있는 방법이 있습니까?

Answer 1

numpy 배열과 같은 h5py 데이터 세트를 조각 낼 수 있으므로 전체 데이터 세트 대신 여러 개의 하위 세트 (예 : 4 100000 * 10000 개의 하위 세트)에서 작업 할 수 있습니다.