신경망 : 유효성 검사 정확도 상수, 훈련 정확도 감소

Question

이미지 분할을 수행하는 신경망이 있습니다. 나는 ~ 100 신기원을 훈련시켰다. 현재의 효과는 유효성 검사 손실이 일정하고 (0.2 +/- 0.03) 훈련 정확도가 여전히 감소하고 (현재 0.07), 매우 느립니다.

신경망의 결과는 상당히 양호합니다. 이것은 무엇을 의미합니까? 그것이 과장입니까? 교육을 중단해야합니까?

현재 첫 번째 레이어 (50%)에 드롭 아웃을 사용하고 있습니다. 모든 레이어에 드롭 아웃을 추가하는 것이 합리적일까요? (약 15 개 레이어가 있습니다)? 또는 L2 정규화를 추가해야합니까? L2과 droput을 사용하는 것이 합리적입니까?

고맙습니다.

Answer 1

드롭 아웃을 사용할 때 L2를 사용하는 것이 좋습니다. 내 생각에 50 % 하락률이 너무 높다고 생각합니다. 사람들은 일반적으로 작업에 따라 약 20 %를 사용합니다.

또한 100 에포크가 충분하지 않을 수도 있습니다. 이는 훈련 세트의 크기와 신경망의 크기에 따라 다릅니다.

"상당히 좋음"이란 무엇을 의미합니까? 그것을 계량화하고 예를 들려주십시오. 검증과 정확도는 단지 "지표"이며, 그 가치는 NN과 교육 집합에 따라 다르므로 문제에 따라 0.2는 좋지도 좋을 수도 있습니다.