NumPy 코드 가속화

Question

래스터 크기가 1 백만 * 1 백만인 2 차원짜리 배열 (raster_data)이 있습니다. 다음과 같이 내가 두 개의 클래스로 그 래스터를 분류 할 : 나는 메모리 오류가있는 데이터의 매우 큰 크기로 인해 그러나

class_A = np.where((raster_data >= 5.23) & (raster_data < 8.55),raster_data,np.nan) 
class_B = np.where((raster_data >= 8.55) & (raster_data < 10.0),raster_data,np.nan) 

. 원하는 래스터를 어떻게 분류 할 수 있습니까? 나는 16GB RAM과 64bit NumPy로 이미 시도했다.

Answer 1

당신은 메모리를 절약하기 위해 부울 인덱싱 및 현재 위치에서 작업을 시도 할 수 있습니다

: 당신은, 디스크 스토리지에 어떤 형태가 필요합니다 데이터 집합은 참으로 지정한만큼 굉장히 큰 경우

>>> class_A = raster_data.copy() 
>>> class_B = raster_data.copy() 
>>> mask = raster_data < 5.23 
>>> mask |= raster_data >= 8.55 
>>> class_A[mask] = np.nan 
>>> mask = raster_data < 8.55 
>>> mask |= raster_data >= 10 
>>> class_B[mask] = np.nan 

Answer 2

및 OUT- 코어 계산.

모든 것은 정확히 그 마스크로 무엇을하고 싶은가에 달려 있지만, pytables를 살펴보십시오. 그러한 대형 어레이의 효율적인 저장 및 조작이 가능합니다.

Answer 3

이것은 pytables로 할 수있는 방법입니다. 나는 네가 참을성이 있고 많은 공간을 가지길 희망한다.

import tables as tb 
import numpy as np 
import time 

f = tb.openFile('humongusFile.h5', 'w') 

n = 100000 
x = f.createCArray(f.root, 'x', tb.Float16Atom(), (n,n), filters=tb.Filters(5, 'blosc')) 



t0 = time.time() 

for i in range(n): 
    x[i] = np.random.random_sample(n)* 10 
x.flush() # dump data to disk 

t1 = time.time() 
print t1 - t0 
print "Done creating test data" 

y1 = f.createCArray(f.root, 'y1', tb.Float16Atom(), (n,n), filters=tb.Filters(5, 'blosc')) 
y2 = f.createCArray(f.root, 'y2', tb.Float16Atom(), (n,n), filters=tb.Filters(5, 'blosc')) 

t2 = time.time() 
print t2 - t1 
print "Done creating output array" 

expr = tb.Expr("where((x >= 5.23) & (x < 8.55), x, 0)") 
expr.setOutput(y1) 

expr2 = tb.Expr("where((x >= 5.23) & (x < 8.55), x, 0)") 
expr2.setOutput(y2) 

t3 = time.time() 
print t3 - t2 
print "Starting evaluating first output" 
expr.eval() 
print "Starting evaluating second output" 
expr2.eval() 
print "Done" 
t4 = time.time() 
print t4 - t3