2009-07-24 4 views
5

청크 데이터 세트에 관한 HDF5의 성능을 평가 중입니다. 특히 우리는 서로 다른 연속 된 청크를 읽을 수 있는지, 그리고 그렇게함으로써 성능이 어떻게 영향을 받는지 알아 내려고합니다. 예. 청크 크기가 10이고 값이 100 인 데이터 집합이 있고 값을 23에서 48까지 읽으려는 데이터 집합이 있습니다. 성능이 크게 저하됩니까?청크 HDF5 데이터 세트 및 슬라브 크기

감사합니다.

답변

3

구체적으로 질문에 답변하는 방법을 모르겠지만 청크 크기 1024 (또는 두 개 이상의 큰 힘)를 사용하는 것이 좋습니다. HDF5의 내부는 모르지만 파일 시스템에 대한 지식과 우리가했던 거친 벤치 마크에서 1024가 옳았습니다.

+0

답장을 보내 주셔서 감사합니다. 나는 이미 청크 크기 자체가 중요한 성능 요소라는 것을 관찰했다. 언급했듯이, 1000보다 큰 청크 크기가 좋은 출발점입니다. 내가 알아 내려고하는 것은 서로 다른 청크에서 인접한 데이터를 읽을 때 성능이 어떻게 영향을 받는지입니다. 그러나 이것이 구체적으로 대답 할 수없는 질문 인 것 같습니다. 따라서 우리는 몇 가지 벤치 마크를 수행해야합니다. – usac