TensorFlow에서 Multi-GPU 교육의 장점은 무엇입니까?

Question

this TensorFlow tutorial에서 N 개의 GPU를 사용하여 각 미니 GPU에 N 개의 미니 배치 (각 M 개의 샘플을 포함)를 배포하고 그라디언트를 동시에 계산할 수 있습니다.

그러면 N GPU에서 수집 한 그라디언트를 평균화하고 모델 매개 변수를 업데이트합니다.

그러나 이것은 단일 GPU를 사용하여 N * M 트레이닝 샘플의 그래디언트를 계산 한 다음 매개 변수를 업데이트하는 것과 동일한 효과가 있습니다.

그래서 나에게 유리한 점은 동일한 시간에 더 큰 크기의 미니 배치를 사용할 수 있다는 것입니다.

그러나 더 큰 크기의 미니 배치가 반드시 더 좋습니까?

최적화 된 안장 점을 만들기 위해 대형 미니 배치를 사용하지 않아야한다고 생각했습니다.

큰 크기의 미니 배치가 실제로 좋지 않은 경우 왜 멀티 GPU 학습 또는 다중 서버 학습을 고려해야합니까?

(상기 가이드 동기식 훈련이다.이 비동기 훈련 되었다면, I는 이점을 볼 수 있으며, 파라미터는 각 GPU에 의해 산출 된 기울기 평균화없이 갱신 될 것이기 때문에)

Answer 1

멀티 주된 목적 -GPU 학습은 짧은 시간에 대규모 데이터 세트를 학습 할 수있게 해줍니다. 더 큰 미니 배치를 사용하는 것이 반드시 좋은 것은 아니지만 최소한 가능한 한 빨리 학습을 마칠 수 있습니다.

비동기 SGD 알고리즘을 사용하면 N 개의 미니 배치가 동기화 된 방식으로 트레이닝되지 않습니다. 멀티 GPU를 사용하는 경우 알고리즘이 변경되므로 SGD 알고리즘이있는 단일 GPU에서 MxN 크기의 미니 배치를 사용하는 것과 동일하지 않습니다.

멀티 GPU 동기화 교육을 사용하는 경우 이점은 주로 시간 단축입니다. M/N 크기의 미니 일치를 사용하여 효과적인 미니 배치 크기를 유지할 수 있으며, 물론 미니 배치 크기가 작을수록 더 많은 오버 헤드가 발생하므로 확장 성이 제한됩니다. 다수의 컴퓨팅 노드에서 데이터 교환 및 동기화는 재해입니다.

마지막으로 확장 성 문제를 해결하기 위해 많은 수의 GPU를 동시에 사용할 경우 사람들이 A-SGD로 이동합니다. 수백 개의 GPU (또는 심지어 수십 개의 GPU)에서 멀티 GPU 동기화 교육을 사용하는 사용자는 볼 수 없습니다.