시그널 형, tanh 등의 다양한 활성화 함수가 있습니다. 또한 Nguyen과 Widrow, 무작위, 정규화, 상수, 0 등의 초기화 함수가 있습니다. 얼굴 인식을 전문으로하는 신경 회로망의 결과에 많은 영향을 미칩니 까? 지금 Tanh 활성화 함수를 사용하고 모든 가중치를 -0.5에서 0.5로 랜덤 화합니다. 나는 이것이 최선의 접근법인지 전혀 모른다. 매번 네트워크를 훈련시키는 데 4 시간이 걸린다. 실험보다는 여기에 묻고 싶다.얼굴 인식을위한 신경망에 대한 활성화 함수, 초기화 함수 등 ...
데이터 케이스를 몇 백 가지 가져 와서 유닛의 활성화 값의 평균 및 표준 편차를 살펴보십시오. 당신은 tanh sigmoid의 채도 정권에서 벗어나고 싶습니다.
다른 합리적인 초기화 체계가 솔루션의 품질에 많은 영향을 미칠지 의심 스럽습니다. 간격 [-1/sqrt (N), + 1/sqrt (N)]에서 균일하게 가중치를 초기화하는 것으로 충분할 수 있습니다. 여기서 N은 들어오는 연결 수입니다.
큰 차이를 만드는 경향이있는 것은 RBM 또는 자동 인코딩으로 네트워크 가중치를 사전에 조정하는 것입니다. 이는 단일 숨겨진 레이어 신경망에도 도움이 될 수 있지만 더 깊은 그물에 훨씬 더 중요합니다. 사용중인 아키텍처는 언급하지 않았으므로이 정보를 통해 질문에 대한보다 유용한 답변을 얻을 수 있습니다.
아니라이 문서에 설명 된 작동하는 것 같다 새로운 초기화 규칙도있다 : 이 http://www.iro.umontreal.ca/~lisa/publications2/index.php/publications/show/447 용지는 당신이 쉽게 확인 할 수 이상을 언급했다 나쁜 초기의 증상의 일부를 언급이.
요약하면 [-1/sqrt (N), + 1/sqrt (N)]의 균일도는 나쁘지도 않고 내가 링크 한 종이에서 언급 한 것도 아닙니다. 그 중 하나를 사용하면 너무 걱정하지 마십시오. 매우 중요한 것은 autoencoder (또는 Restricted Boltzmann Machine)로 가중치를 사전 준비하는 것입니다.이 레이어는 단일 숨겨진 레이어 만있는 경우에도 살펴야합니다.
가중치를 RBM으로 사전 훈련하려면 물류 시그 모이 드로 전환하고 문제없이 실행하여 작은 표준 편차 가우시안에서 가중치를 초기화 할 수도 있습니다.
네, 그들은 신경망의 결과에 많은 영향을 미칩니다. 의미있는 답을 얻기 위해 사용하고있는 방법과 해결하려는 문제에 대해 더 자세하게 설명 할 수 있습니다. – Ross