온라인 학습을위한 Tensorflow

스트리밍 데이터가 있다고 가정하고 SGD를 사용하여 완전히 연결된 신경망 덩어리를 tensorflow의 청크로 학습하십시오.온라인 학습을위한 Tensorflow

문제는 내가 직면 :

어떻게 체크하여 원시 데이터 청크를 정상화?
원시 데이터에 batch_normalization을 사용하고 완전히 연결된 NN으로 피드 할 수 있습니까?

출처

2017-03-13 Yihan Bao

Re (1) tf.metrics.mean_tensor을 사용하여 스트리밍 평균 및 표준 편차를 계산할 수 있습니다.

Re (2) 예, 아마도 batch_norm으로 처리 할 수 있습니다.

출처

2017-03-14 16:12:46

입력 원시 데이터에 batch_norm을 사용하면 학습률이 얼마나 작아도 상호 엔트로피가 증가하더라도 레이어를 완전히 연결하면됩니다. 그 batch_norm 레이어가 없으면 모든 것이 올바르게 진행됩니다. 정규화 열차 데이터 및 테스트 데이터에 tf.metrics.mean_tensor를 사용하는 방법을 잘 모르겠습니다. –

모든 문제에서 일괄 정규화가 작동하지 않을 수도 있습니다. 어쩌면 매개 변수를 조정해야 할 수도 있습니다. 평균을 제거하여 데이터를 정규화하려면 mean_tensor을 계산하여 데이터에서 빼십시오. 당신은 또한 당신의 텐서의 제곱의 average_tensor를 계산함으로써 분산을 계산할 수 있습니다. –

온라인 학습을위한 Tensorflow

답변

관련 문제