LSTM 네트워크에서 그라데이션 폭발

Question

나는 vb.net에서 내 자신의 lstm 신경 회로망을 만들었습니다. 내가 읽은 것에서는 lstm 네트워크가 폭발/소멸 그라디언트의 영향을 겪지는 않습니다. 그러나 잠시 후 모든 그라디언트가 최대 값으로 증가합니다. 비율 변경은이 작업에 소요되는 시간에만 영향을줍니다. lstm 네트워크에서 폭발하는 그라디언트를 유발할 수있는 것이 있습니까?

나는 32-64 범위의 시퀀스 크기로 가중치를 업데이트하기 위해 기세가있는 RMSProp을 사용하고 있습니다. 또한 훈련 데이터가 [0,1]의 범위에있는 pe홀 커넥터도 포함됩니다. 공백 검색 오디세이

Answer 1

내가 pytorch에 LSTM와 같은 문제가 있었다 :

나는 종이, LSTM 그것을 기반으로. 그라디언트를 잘라내는 데 도움이되었습니다. 또한 학습 속도를 변경하려고 할 수 있습니다.