tensorflow에서 특정 레이어의 운동량을 비활성화하는 방법은 무엇입니까?

Question

"순수한"그래디언트 디센트 또는 좀 더 정교한 기술로 훈련 할 수있는 3 개의 숨겨진 레이어가있는 신경망이 있습니다. 나는 또한 나의 문제에서 기세에 기반한 최적화 방법 (adam, adadelta, momentum)이 훨씬 더 잘 작동한다는 것을 알아 냈다.

흥미로운 부분입니다. 설계 상으로는 NN의 첫 번째 계층에서 모멘텀을 비활성화하고자합니다. 즉, 두 번째 및 세 번째 레이어에서 Adam으로 가중치를 업데이트하지만 첫 번째 레이어에서 간단한 그래디언트 디센트를 사용하고 싶습니다.

물론 내 자신의 최적화 도구를 쓸 수 있습니다. 즉, tf.gradients(loss, tf.trainable_variables())으로 그라디언트를 계산 한 다음 나 자신의 기세를 속이십시오. 그러나 모든 레이어에서 특별한 옵티 마이저 매개 변수를 사용하는 옵션을 갖는 것이 좋습니다. 그런 일을하는 방법에 대해 누구라도 들었습니까?

Answer 1

글쎄, 당신은 최적화 (docs)에 최적화 변수의 목록을 제공 할 수

opt = tf.train.AdamOptimizer() 
opt_op = opt.minimize(loss, var_list=[W1, b1]) 
opt2 = tf.train.GradientDescentOptimizer(learning_rate) 
opt2_op = opt2.minimize(loss, var_list=[W2, b2]) 

당신은 변수 목록 주어진 층 자신의 (아마도 무게와 편견)을 추출해야합니다.