딥 신경망 : 볼츠만 기계는 얼마나 좋은가?

Question

볼츠만 기계를 스태킹하여 깊은 신경망을 생성하기 전에 재구성이 얼마나 정확해야합니까? 그것들이 너무 정확하다면, overfitting은 우려가 될 수 있습니까? 차별화 된 미세 조정을 할 때 적색 플래그 만 지나치게 높은 정확도가 있습니까?

Answer 1

초기 값에서 멀리 떨어져있는 훈련 세트에서 고 에너지 영역을 억제하기에 충분한 마르코프 체인을 태우지 않는 것이 걱정입니다. 이는 CD (1) 또는 임의의 차수 발산 적 발산을 사용하는 전형적인 방법입니다. 즉,이 방법은 항상 사전 최적화되지 않은 네트가 끼어 들지 않도록 로컬 최적화에서 항상 가중치를 초기화합니다.

RBM은 시뮬레이트 된 어닐링으로도 교육을 받아 더 많은 매개 변수 공간을 탐색 할 가능성이 큽니다.

또한 Zhang 외 평신도 재평가를위한 심화 학습에 대한 이해가 필요합니다. 이것은 기본적으로이 네트워크가 어떻게 확률 적으로 확률 분포를 암기하고 여전히 일반화 할 수 있는지를 보여줍니다.