tensorflow에서 정확히 한 번만 데이터를 읽는 가장 좋은 방법은 무엇입니까?

Question

Tensorflow를 사용하여 테스트 세트에 레이블을 지정하려고합니다. Tensorflow를 사용하려면 세트를 한 번만 반복해야합니다. 일반적으로 필자의 많은 수의 예제를 배치 크기의 배수로 채 웁니다. 그러나이 경우에는 Tensorflow의 대기열을 사용하여 수백 개의 파일로 분할 된 데이터를 읽습니다. 최종 배치에 도달하면 한 배치에 대한 예제가 충분하지 않아 프로그램이 종료됩니다. 이 문제를 어떻게 해결할 수 있습니까?

Answer 1

나는 열차 및 유효성 검사 데이터 세트 모두에 tf.train.shuffle_batch()을 사용하고 있다는 것을 알고 있으므로 확인을 위해 tf.train.batch()을 사용하도록 전환했습니다. 예제의 수는 배치 크기의 정확한 배수가 아니므로 최종 배치에는 이미 처리 된 몇 가지 예제가 있습니다. 복제본을 삭제하기 위해 이미 레이블을 지정한 일련의 예제 ID를 보관합니다.