중역 신호를 생성하기 위해 가중치를 표준화하십시오.

Question

저는 다중 층 퍼셉트론을 만들고 있습니다. 입력 -> 숨겨진 유닛에 대해 가중치를 선택해야합니다. 우리 강의 특징 :

조준

가중치를 정규화 그렇게 부 당 가중 연결 수가 미드를 생산 균일 한 확률 분포로부터

선택 가중치 랜덤 중급 기능 신호를 생성 가중치 값을 선택하는 것 기능 신호

나는 그가 중역 기능 신호로 무엇을 의미하는지 모르겠다. 따라서 단위 1의 가중치가 [0.5 0.9 0.1]이면 합계를 취하여 각 가중치를 합계로 나누겠습니까? 또한 각 입력 장치 또는 출력 장치에도 해당됩니까?

감사합니다.

Answer 1

무게 초기화

중급은
가중치 학습 알고리즘 쉽게 가중치들의 세트를 조작하는 concequences 관찰해야 그러한 구간 내에 초기화되어야 값. 작은 간격에서 가중치를 선택하면 학습 알고리즘은 출력 신호의 변화를 관찰하기 위해 작은 델타만큼 가중치를 변경하면됩니다.

범위 [-0.1, 0.1]으로부터 무작위 변수를 선택하여 가중치를 초기화하는 것이 바람직하다
균일 분포. 통계적 직관력에 따라 우리는 0에 대한 "대칭"간격에서 가중치를 균등하게 선택하는 것이 평균 신호가 평균값에 접근한다는 것을 암시 할 수 있습니다. 예 :

weights = [-0.05, -0.05, 0, 0.1] 
signal = 0.7 
average(weights * signal) = 0.7