C++ AMP는

Question

내가 C++ 코드 다음 한 느린

float Neuron::feedForward(std::vector<Neuron>& previousLayer){ 
float sum=0.0f; 
extent<1> e((int)previousLayer.size()); 

std::vector<float> ops(previousLayer.size()); 
for (int i = 0; i<(int)previousLayer.size(); i += 1) { 
    ops[i] = previousLayer[i].getOutput(); 
} 

array_view<const float, 1>_outputs(e, ops); 
array_view<const float, 1>_weigths(e, weigths); 
array_view<float> _sum(e); 
_sum.discard_data(); 


parallel_for_each(e, [=](index<1> idx) restrict(amp) { 
    _sum[idx] = _outputs[idx] * _weigths[idx]; 

}); 

for (int i = 0; i < e[0]; i += 1) { 
    sum += _sum[i]; 
} 

output=Neuron::transferFunction(sum); 
return output; 

};

이제 프로그램이 매우 느리게 코드를 실행합니다. 단지 몇 밀리 초가 느리지 만 실제 시간은 더 느립니다.

I는 또한 AMP 코드 내부 합 (에만 변경)하도록 시도 :

array_view<float> _sum(1); 
_sum.discard_data(); 

... 

parallel_for_each(e, [=](index<1> idx) restrict(amp) { 
_sum[0] += _outputs[idx] * _weigths[idx]; 

을});

... 

/*for (int i = 0; i < e[0]; i += 1) { 
sum += _sum[i]; 
} 
*/ 

output=Neuron::transferFunction(_sum[0]); 

결국 코드는 다음과 같습니다. 천천히, 손 계산기를 사용하면 더 빠를 것입니다. 이제 질문은 : 왜? 나는 2000의 무게를 가진 뉴런을 가지고 있다면, GPU가 모든 것을 계산하게하는 것이 좋을 것이라고 생각했다. 내가 누락 된 것이 있습니까? 아니면 OpenCL 또는 CUDA를 배워야합니까?

추신. slownes는 정말로 나쁘다. 100 000 번 이상 걸리는 것처럼 (같은 시간에 20 000 신경망을 10 번 계산할 수 있습니다. AMP를 사용하면 정확히 2 개의 동일한 네트워크를 계산할 수 있습니다.)

Answer 1

sum[0]을 사용하는 코드는 많은 스레드가 동시에 업데이트 할 때 잘못된 결과를 나타냅니다. sum[0]

순진 구현은 작동해야하지만 GPU에서 데이터를 이동하는 데 상당한 복사 오버 헤드가 있고 계산 속도는 매우 낮기 때문에 매우 비효율적입니다.

그러나 느린 속도를 내기 위해서는 CPU의 WARP 가속기에서 실행 중일 수 있습니다. 다음 코드를 사용하여 사용 가능한 가속기를 확인할 수 있습니다.

https://ampbook.codeplex.com/SourceControl/latest#Samples/ShowAmpDevices/ShowAmpDevices.cpp

은 당신이 여기서 뭘하고있는 것은 감소이다. 이 작업을 GPU에서 효율적으로 수행하는 방법에 대한 많은 기사가 있습니다. CodePlex에는 여러 구현을 보여주는 C++ AMP 코드가 있습니다.

C++ AMP: Accelerated Massive Parallelism with Microsoft Visual C++

그들은 코드와 관련된 책에서 완전히 설명됩니다.