ANN의 S 자형 출력의 파생물은 무엇을 말해 줍니까?

Question

저는 인공 신경 네트워크 (ANN)에 관심이 많았습니다. 그러나 내가 알아낼 수없는 한 가지가 있습니다.

에 의해 평가할 때 무게는 ANN 계정으로 만드는 오류 줄이기 위해 조정해야합니다 얼마나 많은 :뿐만 아니라 나에게

• 오류 (명백하게), *
• 입력 (자기 설명을) *
• 및 그 유도체 은이고, 시그 모이 드 은의 출력 (???)이다.

하지만 마지막 점은 어떻게 중요합니까? 나는 그것이 ANN이이 특정한 체중에 얼마나 자신이 있는지를 나타내야 만한다는 것을 알고 있지만, 체중 조절이 얼마나 중요한지에 대한 오류가 아닙니까? 결과가 잘못 되었다면 ANN이이 무게에 얼마나 자신이 있는지 신경을 쓸 것입니다.

나는 나의 통찰력 (및 나의 혼란)을 this 포스트에서 얻었다.

Answer 1

어떻게 작동하는지에 대한 직감은 일반적으로 올바르지 만, 구체적으로는 올바르지 않을 수 있습니다. 이것은 옳지 않은 오류 함수의 직감에 대한 경우입니다. 오류가 어떻게 생성되는지 기억해 봅시다. 하나의 뉴런의 출력은 다음과 같습니다.

o(x, w) = delta(sum w_j x_j + b) 

여기서 delta는 활성화 함수입니다.

e'(w) = sum 2 * (o(x, w) - l) * o'(x, w) 

:

e(w) = sum (o(x, w) - l)^2 

그라데이션 하강을 사용하려면이 오류의 미분을 취 : 그리고 평균 제곱 오차를 가정 오류는 신경 세포의 출력과 라벨 사이의 제곱 차이에 불과 합

이 O의 유도체에 의존하고 체인 규칙이다 : 에러의 도함수 집계

o'(x, w) = delta'(sum w_j x_j + b) * x_j 

:

그래서 우리는 오류 (차이)가있는 곳에서 뉴런 출력 (마이너스 활성화)에서 평가 된 정품 인증의 파생물에 신경 입력을 곱합니다. 실수로 2 개를 만들었지 만 전체 구조가 정확하다는 점에 유의하십시오. 결국 체인 규칙을 적용했기 때문에 귀하의 경우 활성화 (S 자형)의 파생물이 나타납니다.