h5py가 전체 파일을 메모리로 읽습니까?

그렇다면 매우 큰 파일이 있으면 어떻게해야합니까?

그렇지 않은 경우 단일 데이터가 필요할 때마다 하드 디스크에서 데이터를 가져 오면 속도가 느려 집니까? 어떻게하면 더 빨리 만들 수 있습니까?

2016-11-06 Nick Qian

h5py가 전체 파일을 메모리로 읽습니까?

아니요. 특히 슬라이싱 (dataset[50:100])을 사용하면 데이터 집합의 일부를 메모리에로드 할 수 있습니다. 자세한 내용은 h5py docs을 참조하십시오.

그렇지 않은 경우 단일 데이터가 필요할 때마다 하드 디스크에서 데이터를 가져 오면 속도가 느려 집니까?

일반적으로 hdf5는 매우 빠릅니다. 그러나 메모리에서 읽기가 디스크에서 읽기보다 분명 빠릅니다. 얼마나 많은 데이터 집합을 메모리에 읽어 들일지 결정합니다 (dataset[:] 전체 데이터 집합로드).

어떻게하면 더 빨리 만들 수 있습니까? 성능을 최적화하기 위해 신경 경우

, 당신은 sections에 대한 이 및 압축를 청크 읽어야합니다. 이 내용을 자세히 설명하는 book도 있습니다 (면책 조항 : 저자가 아닙니다).

2016-11-07 08:03:28 weatherfrog

전문가 여야합니다! –

이 물건은 사실 아주 기본입니다. :-) – weatherfrog

Gocha! 나는 계속 일할 것이다! –

답변