tensorflow에서 미니 배치 그라디언트 괜찮은 구현

Question

깊은 학습 모델에 대한 tensorflow 구현을 읽을 때, 나는 훈련 과정에 포함 된 다음 코드 세그먼트를 이해하려고합니다.

self.net.gradients_node = tf.gradients(loss, self.variables) 
for epoch in range(epochs): 
      total_loss = 0 
      for step in range((epoch*training_iters), ((epoch+1)*training_iters)): 
       batch_x, batch_y = data_provider(self.batch_size) 

       # Run optimization op (backprop) 
       _, loss, lr, gradients = sess.run((self.optimizer, self.net.cost, self.learning_rate_node, self.net.gradients_node), 
                feed_dict={self.net.x: batch_x, 
                  self.net.y: util.crop_to_shape(batch_y, pred_shape), 
                  self.net.keep_prob: dropout}) 

       if avg_gradients is None: 
        avg_gradients = [np.zeros_like(gradient) for gradient in gradients] 
       for i in range(len(gradients)): 
        avg_gradients[i] = (avg_gradients[i] * (1.0 - (1.0/(step+1)))) + (gradients[i]/(step+1)) 

       norm_gradients = [np.linalg.norm(gradient) for gradient in avg_gradients] 
       self.norm_gradients_node.assign(norm_gradients).eval() 



       total_loss += loss 

나는 그것이 미니 배치 그라데이션에 상당한 관련이 있다고 생각하지만, 나는 그것이 작동합니까 방법을 이해 할 수없는, 또는

Answer 1

을 다음과 같이 내가 같이 알고리즘에 연결하는 어려움이

미니 배치 SGD와 관련이 없습니다.

모든 시간 간격에 대한 평균 그래디언트를 계산합니다. 첫 번째 시간 단계 avg_gradients에는 방금 계산 된 그라디언트가 포함 된 후 두 번째 단계 이후에 두 단계의 두 그라디언트의 요소 평균이됩니다. n 단계 후에는 지금까지 계산 된 모든 n 그라디언트의 요소 평균이됩니다. 이러한 평균 구배는 정규화됩니다 (표준이 1이되도록). 그러한 평균적인 그라디언트가 제시된 맥락없이 왜 필요한지를 말하기는 어렵습니다.