더 많은 SpatialDropouts로 더 낮은 mse를 얻는 것이 그럴까요?

Question

나는 5 Convolutional2D 레이어, 교육 및 유효성 검사 오류의 각 후

SpatialDropout2D(0.2) 

층이 드롭 아웃 층없이 동일한 네트워크보다 처음 몇 신 (新) 시대 동안 훨씬 낮다는 것을 관찰 (다른 모든을 만들었습니다 같은). 중간 결과가 임의로 삭제되는 경우 최적화 루틴이 최소 문제를 찾는 데 어려움을 겪을 것으로 예상되므로 카운터 직관적 인 것처럼 보입니다.

내 견해는 그럴듯 ​​해? 그렇다면 왜?

Answer 1

일반적으로 드롭 아웃은 오버 피팅을 방지하는 데 사용되는 기술 중 하나입니다. 테스트 오류는 줄이기는하지만 교육은 줄이지 않을 것으로 예상됩니다. 반대로, 모델이 과도하게 지나치지 않을 때 교육 오류가 올라갈 수 있습니다.

드롭 아웃에 대한 자세한 내용은 Deep Learning textbook, 섹션 7.12를 참조하십시오.