train을 tensorflow에서 여러 번 실행하십시오.

Question

여러 개의 그래디언트 단계를 거치고 싶은 상당히 큰 배치 크기가 있습니다. 루프 용 파이썬으로이 일을 쉽게 할 수는 있지만 각 반복마다 GPP로 데이터를 전송하는 것을 포함하지 않는보다 효율적인 방법이있을 수 있다고 상상합니다. 나는 기차를 가져 오기 목록에 여러 번 넣으려고 시도했지만 실제로는 두 번 이상 실행되고 있는지 확신하지 못합니다 (런타임은 정확히 동일합니다).

Answer 1

앞서를 만들 수 있고, 대신 peristent 텐서를 사용 run 호출 사이에이 데이터를 유지 할 수있다. 장난감 예가 있습니다

t = tf.int32 
params = tf.Variable(tf.ones_initializer((), dtype=dt)) 
data_batches = [[1], [2, 3], [4, 5, 6]] 

# op that uploads data to TF and saves it as a persistent Tensor 
data_saver_placeholder = tf.placeholder(dt) 
tensor_handle_op = tf.get_session_handle(data_saver_placeholder) 

data_placeholder, data = tf.get_session_tensor(dt) 
train_op = tf.assign_add(params, tf.reduce_prod(data)) 
init_op = tf.initialize_all_variables() 
sess = tf.Session() 
sess.run(init_op) 

for batch in data_batches: 
    # upload tensor to TF runtime and save its handle 
    tensor_handle = sess.run(tensor_handle_op, feed_dict={data_saver_placeholder: batch}) 
    # run train op several times reusing same data 
    for i in range(3): 
     sess.run(train_op, feed_dict={data_placeholder: tensor_handle.handle}) 


assert sess.run(params) == 382 

Answer 2

sess.run([myop,myop])을 실행하면 myop 번만 실행됩니다.

op를 실행하고 그 결과를 파이썬 런타임에 가져 오지 않으려면 컨트롤 종속성을 사용할 수 있습니다. 이 작업을 수행하는 간단한 방법은, 즉, group 영업 이익

sess.run(tf.group(myop)) 
sess.run(tf.group(myop)) 

그래프는 실행 호출 사이 group 연산을 구성하여 여분의 오버 헤드를 얻을 수 큰 경우

(어쩌면 -10>에 대한 노드 그래프를 10-100ms)입니다 그래서 당신은 가변 크기의 배치가있는 경우는 변수를 저장하는 나쁜 적합 시간

myop_nooutput = tf.group(myop) 
sess.run(myop_nooutput) 
sess.run(myop_nooutput)