GRIB 파일의 디렉토리를 Dask 배열에로드하는 방법

Question

수천 개의 GRIB 파일이있는 디렉토리가 있다고 가정합니다. 내가 그들을 쿼리 할 수 ​​있도록 dask 배열에 그 파일을로드하고 싶습니다. 어떻게이 일을 할 수 있습니까? 아래의 시도는 효과가있는 것처럼 보이지만 각 GRIB 파일을 열어야하며 실행하는 데 오랜 시간이 걸리며 내 기억이 모두 필요합니다. 더 좋은 방법이 있어야합니다.

내 시도 : dask.delayed를 사용하는

import dask.array as da 
from dask import delayed 
import gdal 
import glob 
import os 


def load(filedir): 
    files = sorted(glob.glob(os.path.join(filedir, '*.grb'))) 
    data = [da.from_array(gdal.Open(f).ReadAsArray(), chunks=[500,500,500], name=f) for f in files] 
    return da.stack(data, axis=0) 

file_dir = ... 
array = load(file_dir) 

Answer 1

가장 좋은 방법은이 작업을 수행 할 수는있을 것이다. 이 경우 지연된 함수를 만들어 배열을 읽은 다음 da.from_delayed 함수를 사용하여 delayed 개체에서 dask 배열을 작성합니다.

각 파일을로드하는 데 하나의 작업이 있음에 유의하십시오. 개별 파일이 큰 경우 load 함수에서 직접 파일을 청크 할 수 있습니다. 나는 gdal에 익숙하지 않지만, ReadAsArray 방법에 대한 간략한 설명으로 xoff/yoff/xsize/ysize 매개 변수 (확실하지 않음)로 수행 할 수 있습니다. 이 코드는 직접 작성해야하지만 큰 파일의 경우 더 효과적 일 수 있습니다.

위 코드를 사용하여 rechunk으로 전화하면 작은 청크로 다시 채울 수 있습니다. 이것은 여전히 ​​하나의 태스크에서 각 파일을 읽는 결과를 가져 오지만, 후속 단계는 더 작은 청크에서 작동 할 수 있습니다. 이것이 가치가 있는지 여부는 개별 파일의 크기에 따라 다릅니다.

x = x.rechunk((500, 500, 500)) # or whatever chunks you want