CUDA 공유 메모리가 글로벌보다 빠르지 않습니까?

Question

안녕하세요, 나는 바이트를 비교할 필요가 커널 기능이 있습니다. 검색하고자하는 영역을 블록으로 나누어 4k 바이트의 배열을 4k/256 = 16 블록으로 나눕니다. 블록의 각 스레드는 idx에 배열을 읽어서 다른 배열과 비교합니다. 여기서 내가 찾고자하는 것이 있습니다. 두 가지 방법으로이 작업을 수행했습니다 :

1. 전역 메모리의 데이터를 비교하지만 블록의 스레드는 종종 동일한 주소를 읽어야합니다.

2. 전역 메모리에서 공유 메모리로 데이터를 복사하고 위에서 언급 한 것과 같은 방식으로 공유 메모리의 바이트를 비교하십시오. 동일한 주소 읽기 문제가 여전히 있습니다. 공유 메모리에 복사는 다음과 같습니다 : 코드의

myArray[idx] = global[someIndex-idx]; 
whatToSearch[idx] = global[someIndex+idx]; 

나머지는 동일합니다. 예제 2의 데이터 조작 만 공유 배열에서 수행됩니다.

그러나 첫 번째 옵션은 공유 메모리를 사용하는 것보다 약 10 % 빠릅니다. 왜 ?? 설명해 주셔서 감사합니다.

Answer 1

데이터를 한 번만 사용하고 블록의 여러 스레드간에 데이터를 다시 사용하지 않는 경우 공유 메모리를 사용하면 실제로 속도가 느려집니다. 그 이유는 전역 메모리에서 공유로 데이터를 복사 할 때 여전히 글로벌 트랜잭션으로 간주되기 때문입니다. 공유 메모리에서 읽을 때 읽기가 더 빠르지 만 이미 전역 메모리에서 한 번 읽어야했기 때문에 중요하지 않으며 공유 메모리에서 읽는 두 번째 단계는 가치있는 것을 제공하지 않는 추가 단계입니다. .

공유 메모리를 사용하면 같은 데이터를 여러 번 액세스해야 할 때만 유용합니다 (동일한 스레드 또는 같은 블록의 다른 스레드).

Answer 2

전역 메모리에 대한 액세스를 절약하기 위해 공유 메모리를 사용하고 있지만 각 스레드는 여전히 전역 메모리에 대해 두 번 액세스하므로 빠른 속도가 아닙니다. 속도 저하는 블록 내의 전역 메모리에서 같은 위치에 액세스하는 스레드가 공유 메모리의 동일한 위치로 스레드를 읽으려고 시도하기 때문에 발생합니다.이 스레드를 직렬화해야합니다.

내가 게시 한 코드에서 수행하는 작업이 정확히 무엇인지 확신 할 수 없지만 블록의 모든 스레드에서 집계 된 global의 읽기 및 쓰기 횟수가 상당히 낮아야합니다 공유 메모리를 사용할 때. 그렇지 않으면 성능이 향상되지 않습니다.