신경망 Backpropagation : 바이어스는 무한대로 이동합니다

Question

backpropagation을 수행 할 신경망이 있습니다. 나는 은닉층

Δwji에 무게 업데이트에 대해 다음 사용하고

= η × δj × 이순신

δj가 φ은 '(VJ) * EJ 곳 VJ = Σi wjiyi하고, 이전 계층의 φ '(vj) * sum (δk * wkj)

그러나 숨겨진 단위의 바이어스 중 하나는 항상 무한대로 이동합니다. 그 의미는 무엇입니까?

EDIT : 무한가는

값은 일부 뉴런 일부 입력 값 VJ 판명. 그래서이 의미는 내 NN이 특정 뉴런이 항상 발사한다는 사실을 강화하는 것입니다.

훈련 할 때 특정 입력에 대한 다양한 예제가 부족하다는 것을 의미합니까?

Answer 1

시행 착오 후 문제는 숨겨진 계층의 뉴런이 충분하지 않음이 밝혀졌습니다. 나는 입력의 절반과 동일한 뉴런을 추가 한 후에 결과를보기 시작했습니다. 알 힘들어 이상적인 수의 뉴런에는 공식 공식이 없다. 그것은 모든 문제에 따라 다릅니다.

Answer 2

역 전파 학습의 수렴은 모든 문제와 모든 조건에 대해 보장되는 것은 아닙니다. 예를 들어 알고리즘은 무한히 감소하는의 가중치 공간 에 어떤 방향이 존재할 경우 발산 할 수 있습니다.

학습 률 (이 값이 너무 높으면 ANN이 완전히 다른 경우가 많음)을 줄이거 나 문제 인코딩을 변경하거나 교육 세트 품종을 늘릴 수 있습니다.