H5py : 빠른 방법으로 numpy.ndarray 목록을 저장 하시겠습니까?

Question

hpypy를 사용하여 numpy.ndarray 목록을 효율적으로 저장하고 읽을 수 있습니까? 예 : 저장/읽고 싶습니다.

Y = np.arange(3**3).reshape(3,3,3) 
X = [[Y,Y],[Y,Y,Y],[Y]] 

가장 효율적인 (이중 루프 없음) 솔루션을 찾고 있습니다.

Answer 1

Y는 동일한 유형 (예 : int32 또는 string)이라고 가정합니다. 일반적으로,이 처리하는 가장 효율적인 방법은 길이입니다 (평평) 하나의 벡터로 Y를 방출하는 것입니다 것은 :

totalLen = sum(map(len, X)) 
offsets = cumsum(map(len, X)) 

당신은뿐만 아니라 HDF5 파일에 오프셋을 스틱과에서 메모리에로드 할 수 있습니다 스타트. 그런 다음리스트 i를 얻는 것 :

offsets[i]:(offsets[i+1] - 1)