인공 신경망의 정규화

Question

인공 신경망의 정규화 개념을 이해하는 데 문제가 있습니다. 그것이 어떻게 작동하는지 설명 할 수 있다면. 예를 들어, 입력 농구 스코어 58-72을 원하거나 입력 단어 "cat"(자연어)을 원한다면. 범위가 [-1,1] 인 경우 어떻게 작동합니다. 나는 ANN과 정규화 개념에 대해 매우 새로운 것을 알고있다.

Answer 1

이렇게하는 한 가지 방법은 입력을 비트 인코딩하는 것입니다. 최대 길이 입력 문자열의 비트 당 하나의 뉴런을 가짐; 0을 -1로, 1을 1로 출력합니다. 비트 열을 출력으로 사용하려면 양수 출력을 1로, 음수 출력을 0으로 해석하십시오.

Answer 2

기능 정규화는 특히 하나 이상의 변수 . 그리고 그것은 동일한 규모로 다른 특징들을 만드는 것을 목표로합니다. 스케일링은 하나 이상의 피쳐가 나머지보다 더 큰 값을 취할 때 요구되는 많은 추가 반복을 피함으로써 그라디언트 디센트 (신경망의 역 전파를 말함)를 가속화합니다.

정규화가 필요한 또 다른 이유는 신경망의 출력 계층에서의 물류 함수 (또는 시그 모이 드 함수)에 관한 것입니다. [-1,1] 범위 내의 입력은 활성화 함수의 선형 특성을 매우 잘 나타냅니다. 데이터를 정규화하지 않으면 농구 스코어의 예에서 입력으로 58 또는 72가 Sigmoid 출력을 1에 가깝게 이끌 것이므로 분류 문제에서 임계 값을 매우 어렵게 만듭니다.