GRU 셀에 대한 Xavier 초기화

Question

seq2seq-model을 초기화하려고합니다. GRU 셀을 사용하고 있지만 Xavier 초기화는 알 수 없습니다. rnn_cell.py의 코드가 그런 것을 허용하지 않는 것 같습니다. 어떤 아이디어? 이 작업을 수동으로 수행해야합니까?

들으

Answer 1

셀의 무게는 initializer 매개 변수를 지정하지 않고 created using tf.get_variable()이다. https://www.tensorflow.org/versions/r0.10/api_docs/python/state_ops.html#get_variable에서 :

initializer하면 것은 None (기본값) 인 변수 범위에 전달 된 기본 이니셜이 사용됩니다. 따라서

, 다음과 같이 작동합니다 :

cell = tf.nn.rnn_cell.GRUCell(256) 
with tf.variable_scope('RNN', initializer=tf.contrib.layers.xavier_initializer()): 
    outputs, state = tf.nn.dynamic_rnn(cell, ...)