그래디언트 디센트를 통한 백 프로 모션은 각 전달 후 오류를 나타내는 방법

Question

Neural NEtwork 멀티 레이어 퍼셉트론에서는 확률 적 하강 기울기 (SGD)와 그라데이션 하강 (Gradient Descent)의 주요 차이점이 몇 개의 샘플을 선택 하느냐에 달려 있음을 이해합니다. 훈련 도중. 즉, SGD는 앞으로 진행되는 패스를 수행하기 위해 하나의 샘플을 선택하고, 순방향 패스에서 전체 샘플을 계산 한 후에 만 ​​백 피드가 시작되는 GD에 반대하여 가중치를 조정하기 위해 백 프레젠테이션을 수행합니다.

내 질문은 :

1. 가 그라데이션 하강 (또는 미니 배치 그라데이션 하강)이 선택한 방식 인 경우, 우리는 어떻게 통과 하나의 앞으로의 오류를 표시합니까? 네트워크에 하나의 출력 뉴런 만 있다고 가정하면 각 샘플의 모든 개별 오류를 평균화하거나 모두 합산하여 오류를 표현합니까?
2. MLPClassifier scikit에서 누가 이런 오류가 누적되는지 알고 있습니까? 평균화 또는 합산?

대단히 감사합니다.

Answer 1

나는 첫 번째 질문에 대답 할 수 있다고 생각합니다. 예, 단일 순방향 오류의 오류는 순시 오류 (예 : 네트워크 출력과 원하는 응답 (레이블) 사이의 차이의 표준), 하나의 샘플이 네트워크에 공급되거나 순시의 평균 샘플의 미니 배치를 먹이로 얻은 오류.

이 정보가 도움이되기를 바랍니다.