Theano에서 드롭 아웃 구현

Question

현재 Theano에 내장 된 길쌈 신경 네트워크로 작업 중입니다. Dropout은 노드 출력이 특정 확률로 마스킹되는 정규화 기법이며, 마스크는 역방향 전파는 물론 순방향으로도 적용해야합니다.

현재 Theano에서 작업 중이므로 역 전파 단계는 자동 차별화를 사용하여 모델의 그래디언트를 계산하는 T.grad 함수로 대체됩니다. 온라인에서 찾은 몇 가지 예에서 그들은 순방향의 값만 마스크하고 그라데이션 계산 단계에서 드롭 아웃 마스크는 전혀 고려하지 않습니다. 어떤 종류의 효과가 네트워크에서 발생하며 마스크를 그라디언트 계산에 포함 시키려면 어떻게해야합니까? 필자가 지금 가지고있는 코드는 주로 깊은 학습 지침서에서 Lisa Lab이 제공 한 코드를 기반으로합니다.

Answer 1

x * y, x와 같은 두 변수의 곱하기 기울기에는 y 그래디언트가 있고 그 반대도 마찬가지입니다. 드롭 아웃은 마스크의 출력과 노드의 출력 인 노드 출력의 마스킹을 사용합니다. 졸업식을하는 동안, 그것은 theano 자체에 의해 돌볼 것입니다. dropout implementation in theano