CNTK - 모델의 불완전한 훈련

Question

CNTK python API를 사용하여 간단한 그리드 기반 보드 게임을하기 위해 3 레이어 피드 포워드 네트워크를 교육했습니다. 작은 보드 (6 x 6) 격자를 사용하면 모델이 성공적으로 훈련됩니다. 이 모델은 100 게임 이상으로 100 % 성공한 게임입니다. 그러나 보드 크기를 21 x 21로 늘리면 100 개 이상의 게임에서 약 90 %의 성공률로 훈련이 포화 상태로 나타납니다.

교육 시간을 늘리거나 교육 매개 변수를 변경해도 모델 성능이 향상되지는 않습니다.

• 내가 누락 된 항목이 있습니까?
• CNTK는 "dropouts"의 사용을 지원합니까?
• 이는 훈련

Answer 1

예 드롭 아웃이 지원을 개선하기 위해 다른 기술입니다. 현재 문서는 여기에 있습니다 :

https://cntk.ai/pythondocs/cntk.ops.html?highlight=dropout#cntk.ops.dropout

사용하고 활성화 기능의 어떤 종류의? 시그 모이 드를 사용하는 경우 ReLUs를 시도하십시오. ReLU를 사용하면 큰 구배가 흐르기 때문에 훈련 중 사망 할 가능성이 있습니다. Leaky ReLU 또는 Param ReLU를 사용해보십시오. 이 모든 것은 툴킷에서 지원됩니다.