CUDA에서 스레드 당 레지스터 사용량 증가

Question

일반적으로 워프 점유를 늘리기 위해 스레드 당 레지스터 압력을 낮추면 워프 레벨 멀티 스레딩 (TLP)을 통해 대기 시간을 숨길 수있는 기회가 더 많아집니다. 레지스터 압력을 줄이려면 스레드 로컬 메모리 당 또는 스레드 블록 공유 메모리 당 더 많은 것을 사용하십시오. CUDA nvcc 컴파일러는 쓰레드 당 더 적은 수의 레지스터를 사용해야 할 수도 있습니다. 이러한 접근법은 양호한 산술 대기 시간, 즉 메모리 r/w 액세스 요청에 대한 ALU 연산의 비율이 높은 작업 부하에 유용하다. 그러나 계산이 거의없고 빈번한 메모리 액세스가있는 대기 시간이 중요한 응용 프로그램의 경우이 방법은 실제로 성능을 저하시키는 경향이 있습니다.

대기 시간이 중요한 응용 프로그램의 경우 온칩 레지스터 또는 공유 메모리에서 최대한 많은 데이터를 가져온 다음 가능한 한 많이 사용하여 다음 데이터 청크로 바꾸십시오 전역 메모리. 물론 레지스터 압력을 증가 시키면 워프 점유가 줄어들지 만 빠른 온칩 레지스터를 사용하여 오프 칩 메모리 대기 시간을 감추고 있습니다. 스레드 레지스터 사용량을 늘리는 방법은 루프를 풀거나 ILP를 늘리거나 스레드 당 더 많은 출력 데이터를 계산하는 것입니다.이 방법은 기본적으로 더 많은 입력에 대해 동일한 작업을 수행하여 ILP를 증가시킵니다. 이 접근법은 Volkov (Lower Occupancy에서 더 나은 성과)에 의해 기본적으로 제안되었습니다.

이제 nvcc 컴파일러 드라이버에는 maxrregcount라는 명령 줄 옵션이있어서 스레드 당 레지스터 사용을 변경할 수 있습니다. 이 옵션을 사용하면 컴파일러가 스레드 당 레지스터 사용량을 줄 이도록 강요 할 수 있지만 강제로 증가시킬 수는 없습니다. 스레드 등록기 사용량을 늘리고 싶지만 루프 경계가 데이터에 따라 다르며 동적이기 때문에 커널 내부에서 루프를 풀어 낼 수없는 경우가 있습니다. 지금까지 몇 가지 트릭을 시도했지만, 스레드 레지스터 사용량을 늘리는 방법에 대한 아이디어가 부족합니다. 누구나 단일 CUDA 스레드의 레지스터 사용을 늘릴 수있는 방법을 제안 할 수 있습니까?

Answer 1

어느 정도까지이 질문은 Forcing CUDA to use register for a variable과 중복됩니다. 옵션을 꽤 잘 요약했습니다. 언 롤링과 명시적인 스칼라 변수 사용을 통해 레지스터 사용을 강제 할 수 없다면 나는 당신이 붙어있을 수 있다고 생각합니다.

동적 경계가있는 짝수 루프는 부분적으로 손으로 풀릴 수 있습니다. 루프의 풀린 부분 내에서 경계를 확인하기 만하면됩니다. 이렇게하면 레지스터 사용량이 늘어납니다.

또한 레지스터 사용량 증가와 대기 시간 감소 사이의 직접적인 관계가 보장되지 않는다고 생각합니다. 따라서 실제로는 레지스터 사용에 대한 지연 시간 감소에 집중해야합니다.

커널 대기 시간을 줄이려면 시도해야 할 몇 가지 사항이 있습니다.

• (점유 계산기에 의해 결정된 것처럼) GPU에서 동시에 실행할 수있는 스레드 블록을 더 이상 실행하지 않습니다.
• 커널에 대한 함수 매개 변수의 수를 최소화하십시오. 매개 변수가 커널 시작 중에 초기화되어야하므로 (많은 매개 변수로 인해 실행 오버 헤드가 증가 할 수 있기 때문입니다).

Answer 2

이 질문의 답은 "상점에서 우유에 더 많은 돈을 어떻게 지불 할 수 있습니까?"라고 묻는 것과 같습니다. 질문은 거꾸로되어 있습니다. 당신이 물어야하는 것은 "나는 주어진 돈이 있습니다. 가능한 한 많은 우유를 얻기 위해 그것을 어떻게 사용합니까?"

오케이, 유추는 좋지만 기본적으로 레지스터 수를 늘리는 것이 그 자체의 목표 인 것처럼 질문합니다. 물론 목표는 성과를 높이는 것입니다.

우선, 결정할 사항은 당신이 생각하는만큼의 레지스터가 있습니까? 레지스터가 커널의 점유율 제한 요소 인 경우. 더 많은 레지스터를 사용하도록 코드를 변경하면 커널이 메모리 바운드 일 때 좋은 생각이 아닐 수도 있습니다.

점유가 다른 것으로 제한되는 경우, 더 많은 레지스터를 사용하여 성능을 향상시킬 수 있는지 물어볼 수 있습니다 (레지스터는 점유 제한 요소가 될 때까지 "자유"입니다).

이 목적을 위해 Space–time tradeoffs의 옵션을 살펴보십시오.

Answer 3

흥미로운 문제! 더 나은 성능을 제공하기 위해 ILP를 사용하는이 방법을 시도하고 있습니다! 사실, 스레드 당 할당되는 레지스터가 적은 기존 GPU의 구 조 조건 때문에 ILP를 사용하면 실제로 루프 풀기 (독립적 인 명령어)를 통해 더 많은 계산 작업을 위해 레지스터를 확보 할 수 있으므로 성능이 향상됩니다!

얼마나 많은 중첩 루프가 있습니까? 내부 루프를 풀어서는 안되는 경우 레벨을 올려 기회를 찾으십시오.

스레드 당 레지스터 사용을 늘리려면 시작한 블록 수를 줄 였습니까?
레지스터/스레드의 사용을 늘리려면 병렬로 수행 할 데이터 세트를 두 개 이상로드하십시오.

루프의 반복마다 독립적입니까? 중요한 것은 독립적 인 계산을 찾는 것입니다. 일괄 처리를 수행하는 것이 어떻습니까? 루프 카운트가 N이라고 가정하고, N/M으로 분할하고 독립적으로 분리합니다.

단서를 줄 때 제안을하기가 어렵습니다. P