Pytorch의 변수에 대해 지수 이동 평균 쇠퇴를 적용하는 방법은 무엇입니까?

Question

다음 종이를 읽고 있습니다. 그리고 변수에 EMA 붕괴를 사용합니다.
https://arxiv.org/pdf/1611.01603.pdf

훈련 동안, 모델의 모든 무게의 이동 평균은 0.999의 지수 붕괴 속도 유지 있습니다.

그들은 TensorFlow를 사용하며 관련 EMA 코드를 발견했습니다.
https://github.com/allenai/bi-att-flow/blob/master/basic/model.py#L229

어떻게하면 EMA를 변수에 적용 할 수 있습니까?

Answer 1

이동 평균은 그래디언트 디센트에서의 기세의 핵심 개념입니다.

는 PyTorch document에서 찾을 수 있습니다

optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)

변경 원하는 값으로 매개 변수 momentum.