mxnet : 공유 마스크가있는 다중 드롭 아웃 레이어

Question

각 시간 레이어 다음에 드롭 아웃 레이어가 있고이 드롭 아웃 레이어가 마스크를 공유하는 반복적 인 신경망을 재현하고 싶습니다. 이 구조는 특히 A Theoretically Grounded Application of Dropout in Recurrent Neural Networks에 설명되어 있습니다.

코드를 이해하는 한, MXNet에 구현 된 반복적 인 네트워크 모델에는 시간 계층간에 적용되는 누락 레이어가 없습니다. lstm (R API, Python API)과 같은 함수의 매개 변수 인 dropout은 실제로 입력에 대한 누락을 정의합니다. 따라서 처음부터이 함수를 다시 구현해야합니다.

그러나 Dropout 레이어는 마스크를 매개 변수로 정의하는 변수를 사용하지 않는 것처럼 보입니다.

계산 그래프의 여러 위치에 여러 개의 드롭 아웃 레이어를 만들 수 있지만 마스크를 공유 할 수 있습니까?

Answer 1

토론에 따르면 here 마스크를 지정할 수 없으며 임의 시드를 사용하면 드롭 아웃의 임의 번호 생성기에 영향을 미치지 않습니다.