피드 데이터에 대해

Question

는 tf.contrib.data.Dataset 사용 (TensorFlow 1.2에서, here 및 here 참조) 정말 난을 얼마나 어떤 식 으로든에 맞지 않는 데이터를 얻을 수있는 방법을 방법을 일반적으로 데이터. 제 경우에는 스레드가 있고 거기에 데이터를 받고 끝날 때 미리 알지 못합니다. 끝나면 볼 수 있습니다. 그런 다음 모든 버퍼를 처리 할 때까지 기다렸다가 한 시대를 마쳤습니다. Dataset으로이 로직을 어떻게 얻을 수 있습니까?

내가 인터페이스보다 더 선호한다는 점에 유의하십시오. 다시 초기화 할 수 있고 또 다른 Dataset으로 재설정 할 수있는 반복기 인터페이스를 제공하기 때문에 QueueBase 인터페이스보다 인터페이스가 더 좋습니다. 이는 닫힌 후에 현재 다시 열 수없는 대기열에 비해 더 강력합니다 (here 및 here 참조).

아마도 비슷한 질문이나 동일한 질문 일 수 있습니다. 대기열을 통해 Dataset을 어떻게 포장 할 수 있습니까? 일부 스레드는 어딘가에서 데이터를 읽고 어떤 식 으로든 큐에 넣을 수 있습니다. Dataset에 데이터를 가져 오려면 어떻게해야합니까? 더미 텐서를 무한 반복하고 map을 사용하여 내 queue.dequeue()을 반환 할 수는 있지만 실제로는 대기열의 모든 원래 문제, 즉 대기열을 다시 여는 방법을 다시 알게됩니다.

Answer 1

새로운 Dataset.from_generator() 메서드를 사용하면 Python 생성기에서 제공되는 Dataset을 정의 할 수 있습니다. 현재이 기능을 사용하려면 야간에 TensorFlow 빌드를 다운로드하거나 소스에서 직접 빌드해야합니다 (TensorFlow 1.4의 일부 임).

예제를 구현하는 가장 쉬운 방법은 수신 스레드를 대체하는 것입니다

def receiver(): 
    while True: 
    next_element = ... # Receive next element from external source. 
         # Note that this method may block. 

    end_of_epoch = ... # Decide whether or not to stop based on next_element. 

    if not end_of_epoch: 
     yield next_element # Note: you may need to convert this to an array. 
    else: 
     return # Returning will signal OutOfRangeError on downstream iterators. 

dataset = tf.contrib.data.Dataset.from_generator(receiver, output_types=...) 

# You can chain other `Dataset` methods after the generator. For example: 
dataset = dataset.prefetch(...) # This will start a background thread 
           # to prefetch elements from `receiver()`. 

dataset = dataset.repeat(...) # Note that each repetition will call 
           # `receiver()` again, and start from 
           # a fresh state. 

dataset = dataset.batch(...) 

더 복잡한 토폴로지가 가능합니다. 예를 들어, Dataset.interleave()을 사용하여 병렬로 많은 수신자를 작성할 수 있습니다.