LSTM에 대한 누락 텐서 흐름의 반복 가중치

Question

Tensorflow의 DropoutWrapper은 셀의 입력, 출력 또는 상태 중 하나에 드롭 아웃을 적용 할 수 있습니다. 그러나, 나는 원래의 LSTM 공식에 사용 된 8 개의 다른 매트릭스 중 4 개의 셀의 반복 무게에 대해 동일한 작업을 수행하는 옵션을 보지 못했습니다. 난 그냥 내 자신의 래퍼를 구현하기 전에 이것이 사실인지 확인하고 싶었는데, 나는 이것이 아주 간단 할 것이라고 믿는다.

Answer 1

원래 LSTM 모델 만이 용지 강하와 LSTM를 설명하는 "교과서"으로 간주된다 (단지 비재 레이어.) 입력 및 출력 레이어에 전압 강하를인가하기 때문이다 : 최근 https://arxiv.org/pdf/1409.2329.pdf

일부 사람들은 반복적 인 레이어에서도 드롭 아웃을 적용하려고했습니다. 구현과 그 뒤에있는 수학을보고 싶다면 야 린 갈 (Yarin Gal)이 "재귀 신경 회로망에서 이론적으로 기초가 된 응용 프로그램"을 검색하십시오. 나는 Tensorflow 또는 Keras가 이미이 접근법을 구현했는지 확신 할 수 없다.