CNN 학습을 중단 할시기

Question

tensorflow에서 고정 된 수의 에포크 수에 대해 cnn 학습을 실행하고 지정된 수의 에포크 간격 이후에 체크 포인트를 저장하는 데 사용했습니다. 모델을 평가하기 위해 검사 점이 복원되고 유효성 검사 데이터 집합에 대한 예측이 수행됩니다.

고정 된 신기원을 사용하는 대신 학습 과정을 자동화하고 싶습니다. 미니 배치에 대한 손실 가치를 중지 지점을 결정하는 데 어떻게 활용할 수 있는지 설명하십시오. 또한 tensorflow에서 학습 속도 감소를 구현하는 데 도움을주십시오. 더 나은 일정한 감쇠 또는 지수 및 감쇠 계수를 결정하는 방법은 무엇입니까?

Answer 1

먼저 반복 횟수에 대해 일괄 처리에서 손실이 개선되지 않는 경우 (일괄 변동을 줄이기 위해) 평균 손실 일괄 처리 값 사이의 차이가 결정된 임계 값보다 작은 경우 교육을 종료 할 수 있습니다.

하지만 임계 값이 너무 하이퍼 파라미터라는 것을 알았을 것입니다! 실제로 ML을 완전히 자동화하려는 시도가 많이 있지만, 당신이하는 일과 상관없이 여전히 일부 하이퍼 파라미터로 끝납니다.

두 번째로 쇠퇴 요인에 대해서는 손실이 개선되지 않는다고 생각할 때 사용되며, 실제로는 들어 가지 않고 우물에서 들어오고 내리고 자하는 지역 미니 마에 있다고 생각할 때 사용됩니다 (이 비유는 2 치수 그러나 나는 그것이 유용하다는 것을 아직도 안다).

거의 매번 외과에서 이루어질 때마다 매우 수공 모양으로 보입니다. 200 에포스를 훈련하는 것처럼 당신은 고원에 도달했기 때문에 당신은 단계 기능으로 당신의 혈압을 감소시킵니다 (TF의 계단 = 참) 그리고 다시.

일반적으로 사용되는 것은 학습 속도를 10 (지수 감쇠)로 나누는 것입니다. 그러나 매우 임의적이기 전에!

TF에서 학습률 감쇠를 구현하는 방법에 대한 자세한 내용은 this SO question에서 dga의 대답을 참조하십시오. 매우 간단합니다!

일정에 도움이되는 것은 무엇이며 사용하는 가치는 교차 유효성 검사이지만 손 상으로는 손실을보고 손으로 할 수있는 경우가 종종 있습니다.

심층적 인 학습에서은 총알은 시험이나 오류가 아닙니다.