0
CNTK 204: Sequence to Sequence Networks with Text Data 자습서를 진행할 예정입니다. cntk.blocks.Stabilizer() 함수가 사용되었지만 현재 해당 함수에 대한 문서가 없습니다. 아무도 그것이 무엇을하는지 압니까? 용지에cntk.blocks.Stabilizer() 함수는 CNTK에서 무엇을합니까?
Self-stabilized deep neural network," P. Ghahremani and J. Droppo, ICASSP 2016
그리고 여기에 직접 링크 :
감사합니다. 우리는 더 많은 정보로 튜토리얼을 업데이트 할 것입니다. –
감사합니다. 그냥 종이 읽으십시오. 훌륭한 기능처럼 들립니다. 내가 이해하는 바에 따르면 이것은 재발 성 신경 네트워크가 아닌 모든 심 신경 네트워크에 추가 될 수 있습니다. 맞습니까? 또한, Batch Normalization과 비슷한 방법으로 각 레이어 다음에 레이어를 포함시키는 것이 가장 좋습니다. 이것은 Batch Normalization을 대체 할 것입니까? –
안정기는 내 경험상 항상 컨버전스 속도의 향상을 가져 왔습니다. 그러나 일괄 정규화 (Batch Normalization)도 항상 더 효과적이었습니다. 반복적 인 루프에서는 일괄 정규화를 효과적으로 사용할 수 없습니다. 예를 들어 여러 개의 반복되는 LSTM 레이어가있는 언어 처리 시나리오에서 내 가이드 라인은 다음과 같습니다. (1) 레이어간에 BatchNormalization 사용. (2) BatchNorm에 의해 이미 정규화 되었기 때문에 반복적 인 스텝 기능 (h 및 c)에서는 안정기를 사용하지만 입력 (x)에는 사용하지 마십시오. –