Sparse Tensor in tensorflow DataSets

Question

TFRecord와 함께 작동하는 tensorflow 프로그램이 있는데 tf.contrib.data.TFRecordDataset을 사용하여 데이터를 읽으려고하지만 예제를 구문 분석하려고 할 때 예외가 발생합니다. "TypeError : 변환하지 못했습니다. 텐서 흐름에

def _parse_function(example_proto): 
    features = {"var_len_feature": tf.VarLenFeature(tf.float32), 
       "FixedLenFeature": tf.FixedLenFeature([10], tf.int64), 
       "label": tf.FixedLenFeature((), tf.int32default_value=0)} 

parsed_features = tf.parse_single_example(example_proto, features) 
return parsed_features["image"], parsed_features["label"] 

filenames = ["/var/data/file1.tfrecord", "/var/data/file2.tfrecord"] 
dataset = tf.contrib.data.TFRecordDataset(filenames) 
dataset = dataset.map(_parse_function) 

Answer 1

자습서 guide 다른 들여 쓰기가 프로그래밍 : 만

코드로 시도 할 때 유형의 객체는 " 을 텐서합니다.

# Transforms a scalar string `example_proto` into a pair of a scalar string and 
# a scalar integer, representing an image and its label, respectively. 
def _parse_function(example_proto): 
    features = {"image": tf.FixedLenFeature((), tf.string, default_value=""), 
       "label": tf.FixedLenFeature((), tf.int32, default_value=0)} 
    parsed_features = tf.parse_single_example(example_proto, features) 
    return parsed_features["image"], parsed_features["label"] 

# Creates a dataset that reads all of the examples from two files, and extracts 
# the image and label features. 
filenames = ["/var/data/file1.tfrecord", "/var/data/file2.tfrecord"] 
dataset = tf.contrib.data.TFRecordDataset(filenames) 
dataset = dataset.map(_parse_function) 

잘못된 들여 쓰기로 인해 TypeError가 발생하여 pyton 해석기에서 원하지 않는 제어 흐름을 처리 할 수 ​​있습니다.

Answer 2

tf.VarLenFeature가 SparseTensor를 만듭니다. 스파 스 센서가 미니 배치와 관련이있는 경우가 대부분입니다. 아래처럼해볼 수 있습니까?

세트 = tf.contrib.data.TFRecordDataset (파일명)

세트 = dataset.batch (BATCH_SIZE = 32)

세트 = dataset.map (_parse_function)

Answer 3

TensorFlow을위한 지원을 추가 이 V1.5에

는

https://github.com/tensorflow/tensorflow/releases/tag/v1.5.0

"tf.data 이제 데이터 세트의 요소에 tf.SparseTensor 구성 요소를 지원합니다."