tensorflow에서 가중치 행렬의 특정 값 고정

Question

[[a , b ], [c, d]]과 같은 가중치 행렬이 있다고 가정하면 Tensorflow에서 b 및 c의 값을 최적화 중에 변경되지 않도록 고정 할 수 있습니까?

Answer 1

일부 샘플 코드 :

A = tf.Variable([[1., 0.], [3., 0.]]) 
A1 = A[:,0:1] # just some slicing of your variable 
A2 = A[:,1:2] 
A2_stop = tf.stop_gradient(tf.identity(A2)) 
A = tf.concat((A1, A2_stop), axis=1) 

사실, tf.identity은 A2 전에 기울기를 중지하기 위해 필요합니다.

Answer 2

는이 작업을 수행하는 세 가지 방법, 당신은 단지 몇 가지 학습 가능한 그들을

1. 여러 변수에 체중 매트릭스 떨어져 휴식 등을 할 수 있습니다.
2. 상수 요소에 대해 그래디언트 계산을 0으로 해킹합니다.
3. 그라디언트 응용 프로그램을 해킹하여 상수 요소의 값을 재설정합니다.