500 개의 큰 numpy 행렬의 np.nanmean

Question

매우 큰 울퉁불퉁 한 행렬의 평균 (무시한 값)을 얻으려고합니다.

X=np.load('my_matrix_1.npy', mmap_mode='r') 

을 그리고 난 일부 라인을 읽을 수 있습니다 : 나는 같은 것을, 너무 많은 메모리를 차지하지 않고 그들에로드 할 수 있습니다 알고 있습니다.

for chunk in chunks: 
    chunk_to_mean = [] 
    for matrix in matrices: 
      X=np.load(matrix, mmap_mode='r') 
      chuck_to_mean.append(X) 
      del X 
    matrix[chunk] = np.nanmean(chunk_to_mean) 

그러나, 그것은 보인다 : 나는이 같은

그래서 뭔가를 각 매트릭스에서 한 번에 읽기 1000 선을 생각하고 유모가 행렬의 크기가 사람의 말은 저장되었다 두 번째로 메모리 할당 오류가 발생합니다. 메모리 매핑을 사용하여 무언가를로드하려고해도 삭제하더라도 마찬가지입니다. 누구든지이 문제를 해결하는 방법을 알고 있습니까, 아니면 어떻게 할 수 있을지 더 잘 알고 있습니까?

Answer 1

이 코드에는 몇 가지 문제가 있습니다. 첫 번째는 chunk_to_mean = [] 배열을 만듭니다. 그러나 배열에 numpy 배열을 요소로 추가하면 numpy 배열 목록이되지만 np.nanmean은 배열 목록을 사용하지 않고 np.array를 사용합니다.

두 번째는 사전이 있고 문자열을 사용하여 배열을 지정하거나 목록이 있고 int를 사용해야한다는 것입니다. 따라서 chunk[matrix]은 의미가 없습니다.

두 가지 옵션이 있습니다. 모든 청크의 크기가 같으면 각 행렬에 대해 np.nanmean을 취한 다음 결과 목록의 평균을 취할 수 있습니다. 이것은 테스트 작품입니다

results = [] 
for chunk in chunks: 
    for i in range(len(matrices)): 
     X=np.load(matrix, mmap_mode='r') 
     if i==1: 
      all_matrices = np.array(X) 
     else: 
      np.concatenate((all_matrices, np.array(X), axis=0) # check the concat axis!! 
     del X 
    results.append(np.nanmean(all_matrices)) 

Answer 2

: 당신이 가중 평균을 원하는 경우

results = [] 
for chunk in chunks: 
    chunk_to_mean = [] 
    for matrix in matrices: 
     X=np.load(matrix, mmap_mode='r') 
     chuck_to_mean.append(np.nanmean(X)) 
     del X # why do you need this?? This is python - it has garbage collection! 
    results.append(np.nanmean(np.array(chunk_to_mean))) 

다른 옵션은, 행렬을 연결 한 다음 해당의 np.nanmean을하는 것입니다. 한 번에 행렬의 한 행을 읽는 것만으로 매우 큰 행렬에서 작동해야합니다. 평균 행렬을 메모리에 보유 할 수 있으면 실행됩니다.

def average_subject_real(subject): 
    matrix = np.load('graph_matrix_%s_1.npy' %(subject), mmap_mode = 'r') 
    matrix_size = matrix.shape[0] 
    del matrix 
    average_matrix = np.zeros((matrix_size,matrix_size)) 
    for line in range(matrix_size): 
     temp_array = [] 
     for i in range(1,5): 
      matrix = np.load('graph_matrix_%s_%s.npy' %(subject,i), mmap_mode = 'r') 
      matrix = np.array(matrix[line]) # the copying happens here 
     temp_array.append(matrix) 
     del matrix 
     average_matrix[line] = np.nanmean(temp_array,axis=0) 
    np.save('graph_matrix_%s_average.npy' %(subject),arr=average_matrix)