Logsoftmax 안정성

Question

저는 -max _i x_i 요소에 추가하여 softmax를 안정화하는 방법을 알고 있습니다. 이렇게하면 오버플로 및 언더 플로가 발생하지 않습니다. 이제 로그를 기록하면 언더 플로우가 발생할 수 있습니다. 로그 softmax (x)는 0으로 평가되어 -infinity가됩니다.

수정 방법을 잘 모르겠습니다. 나는 이것이 일반적인 문제라는 것을 알고있다. 나는 그것에 대해 여러 가지 대답을 읽었다. 나는 이해하지 못했다. 그러나 나는 아직도이 문제를 해결하는 방법에 대해 혼란 스럽다.

추신 : 간단한 예제를 제공하면 멋질 것입니다.

Answer 1

logsoftmax = logits - log(reduce_sum(exp(logits), dim)) 

은 참조 : https://www.tensorflow.org/api_docs/python/tf/nn/log_softmax