동일한 데이터를 CUDA로 FFT하면 매번 다른 결과가 나타 납니까?

Question

왜 CUDA를 사용하면 1 백만 크기의 FFT를 수행 할 때마다 매번 약간 다른 결과가 나옵니까?

내 하드웨어에는 페르미 아키텍처가 있습니다.

Answer 1

쉽게 대답 할 수 있습니다. CUDA 프로그램은 double보다 상당히 빠르기 때문에 float 변수 유형을 자주 사용합니다. 연산이 평가되는 순서는 부동 소수점 계산의 최종 값에 큰 영향을 줄 수 있습니다. 이것은 CUDA만의 독특한 것은 아니지만, 대단히 평행 한 패러다임이기 때문에 특히 효과가 뚜렷하게 나타날 수 있습니다 (그리고 병렬 처리는 최소한 글로벌 축소와 같은 일을 할 때 비 결정적입니다).

EDIT : CUDA가 동일한 커널이 여러 차례 실행될 때 동일한 순서로 실행된다는 것을 보장하지 않는다는 것이 확실합니다. CUDA가이를 보장한다면, 산술 연산이 실행되는 순서가 달라져서는 안되며, 따라서 동일한 부동 소수점 연산에 대해 다른 값을 기대하지 않을 것입니다.

위의 주장을 보여주는 간단한 C 프로그램이 있습니다. 리눅스의 코드

#include <stdio.h> 

int main() 
{ 
    float a = 100.0f, b = 0.00001f, c = 0.00001f; 

    printf("a + b + c = %f\n", a + b + c); 
    printf("b + c + a = %f\n", b + c + a); 
    printf("a + b + c == b + c + a ? %d\n", (a + b + c) == (b + c + a)); 

    return 0; 
} 

을 시도하고 (I 64 비트 RHEL 6 GCC 버전 4.4.4-13을 사용하고) 당신이 무엇을 얻을 참조하십시오.

[user@host directory]# gcc add.c -o add 
[user@host directory]# ./add 
a + b + c = 100.000015 
b + c + a = 100.000023 
a + b + c == b + c + a ? 0 

편집이 :이 프로그램은 근본적인 문제가 부동 소수점 또한 비 교환 법칙이 성립 있다는 것을 제안 할 수 있습니다 동안 있습니다, 실제로 부동 소수점 또한이 비 인 경우입니다 내 출력은 다음과 같다 associative (C는 왼쪽에서 오른쪽으로의 덧셈 연산을 평가하기 때문에 첫 번째 덧셈은 (a + b) + c로 수행되고 두 번째 덧셈은 (b + c) + a)로 수행됩니다. 비 연관성 (non-associativity)의 이유는 부동 소수점 표현이 유한 한 많은 유효 자릿수 (기수 2에서는 표현할 수 있지만 기수 10 시스템에 대한 논의는 본질적으로 동등 함)를 나타낼 수 있기 때문입니다. 예를 들어, 유효 숫자 3 자리 만 표현할 수있는 경우, (100 + 0.5) + 0.5 = 100 + 0.5 = 100, 100 + (0.5 + 0.5) = 100 + 1 = 101이됩니다. 첫 번째 경우, 3 개의 유효 숫자만으로 중간 값 100.5를 나타낼 수 없기 때문에 결과 100 + 0.5는 잘 리거나 (또는 ​​반올림해야 함) 절단해야합니다.

이 현상에는 여러 가지 중요한 의미가 있습니다. 예를 들어 크기 (지수)가 증가하는 순서로 숫자를 추가하여보다 정확한 답을 얻을 수 있습니다. 실제 계산은 계산이 동일한 순서로 수행되지 않는 한 결과가 동일하다고 기대하면 안되기 때문에 실제 GPU에서 CUDA를 사용하는 것을 보장하기 어려울 수 있습니다.