Tensorflow는 모든 변수를 교육 받았습니까?

Question

tensorflow의 자동 차별화를 사용할 때 정확하게 어떤 변수가 각 반복을 업데이트합니까?

예를 들어 상태 변수가있는 바닐라 RNN이있는 경우 자동 분화가 기울기를 계산하고 손실에 기여하기 때문에 각 시간 단계마다 업데이트해야합니까?

예를 들어, 바닐라 RNN에 대한 방정식은 다음과 같습니다

h_t = X_t W_x + H_ {t-1} W_h + B 의 값을 업데이트 알고 tensorflow 않는 방법

W_x, W_h 및 b이 아닌 h_ {t-1}?

죄송합니다.

Answer 1

RNN의 상태는 학습 가능한 텐서 흐름 변수로 정의되지 않습니다. 그것은 다른 노드를 연결하는 데 사용되는 그래프의 노드입니다. 반대로, 가중치 행렬 W_x과 W_h은 tf.Variable(..., trainable = True)으로 명시 적으로 텐서 흐름 변수로 정의됩니다. 그라디언트는 학습 가능한 변수와 관련하여 계산되므로 최적화 프로세스 중에 업데이트되는 객체 일뿐입니다.