float32 numpy 배열을 사용하여 mean과 std를 계산하려고합니다. float64가 반환되었습니다.

Question

[편집]

제 테스트 사례가 제대로 검토되지 않았습니다. 나는 1-D 어레이에서만 테스트했다. 어떤 경우에는 64 비트 스칼라가 반환됩니다. 3D 배열로 만들면 예상대로 32 비트를 얻습니다.

엄청난 수의 배열 (600 * 600 * 4044)의 평균 및 표준 편차를 계산하려고하며 메모리 한계 (64 비트 시스템의 경우 16GB)에 가깝습니다. 그래서 나는 기본값 인 float64보다는 모든 것을 float32로 처리하려고합니다. 그러나 dtype을 float32로 지정해도 데이터에 대한 작업을 시도 할 때마다 float64가 반환됩니다. 왜 이런 일이 일어 났습니까? 그래, 나중에 변환 할 수 있지만 내가 말한 것처럼 나는 내 RAM의 한계에 가깝다. 나는 처리 단계에서도 가능한 한 모든 것을 작게 유지하려고 노력하고있다. 아래는 내가 얻는 예입니다.

import scipy 
a = scipy.ones((600,600,4044), dtype=scipy.float32) 
print(a.dtype) 

a_mean = scipy.mean(a, 2, dtype=scipy.float32) 
a_std = scipy.std(a, 2, dtype=scipy.float32) 

print(a_mean.dtype) 
print(a_std.dtype) 

반환

float32 
float32 
float32 

Answer 1

주 : 원래의 질문 당신은 64 비트 파이썬으로 전환해야

에 적용이 답변. 귀하의 의견에 따르면 개체의 크기는 32 비트 부동 소수점이있는 5.7GB입니다. 기껏해야 4GB의 32 비트 주소 공간에는 맞지 않습니다.

64 비트 파이썬으로 전환하면 64 비트 부동 소수점을 사용하여 중간 값에 대해 걱정할 필요가 없어 질 것입니다. 실제로 64 비트 부동 소수점을 사용하여 전체 계산을 수행 할 수 있습니다.

이미 64 비트 파이썬을 사용하고있는 경우 (귀하의 의견이 나를 혼란스럽게합니다.) scipy.mean 또는 scipy.std이 64 비트 부동 소수점을 반환하는 것에 대해 걱정할 필요가 없습니다. 그것은 배열의 15 억 개 값 중 하나의 단일 값입니다. 걱정할 필요가 없습니다.

주 : 이 답변은 새로운 질문

질문의 코드를 실행 한 결과는 다음과 생산에 적용 즉

 
float32 
float32 
float32 

을, 당신이보고 증상에없는 현실을 대표하는 사실. 혼란 스러울 이유는 이전에 작성한 코드를 사용하여 원래의 대답이 적용된 코드가 매우 다르고 일차원 배열로 작동한다는 것입니다. 그것은 마치 scipy이 스칼라를 float64으로 반환하는 것처럼 보입니다. 그러나 반환 값이 스칼라가 아닌 경우 데이터 유형은 생각대로 변형되지 않습니다.

Answer 2

당신은 기본 유형 변경을 강제 할 수

:

a_mean = numpy.ndarray(scipy.mean(a, dtype=scipy.float32) , dtype = scipy.float32) 

나는 그것을 테스트 한을, 내가 틀렸다면 정정 해줘 주시기 바랍니다.out 옵션

있습니다 : http://docs.scipy.org/doc/numpy/reference/generated/numpy.mean.html

a = scipy.ones(10, dtype=scipy.float32) 
b = numpy.array(0,dtype=scipy.float32) 

scipy.mean(a, dtype=scipy.float32, out=b) 

테스트 :

In [34]: b= numpy.array(0) 

In [35]: b= numpy.array(0,dtype = scipy.float32) 

In [36]: b.dtype 
Out[36]: dtype('float32') 

In [37]: scipy.mean(a, dtype=scipy.float32, out = numpy.array(b))              
Out[37]: 1.0 

In [38]: b 
Out[38]: array(0.0, dtype=float32) 

In [39]: