TensorFlow : 런타임 중 OOM

Question

런타임 중에 모델에서 메모리가 부족하여 (약 3k 반복) 배치가 실행됩니다 (크기는 모두 64입니다).

동일한 반복으로 초기 반복 작업을 수행하는 동안 OOM을 실행하지 않았습니다.

나는 tensorboard summeries (Adam 최적화 도구)를 실행하고 RNN의 while 루프를 사용합니다.

모델을 실행하는 동안 알려진 메모리 증가 원인은 무엇이며 어떻게 메모리 사용을 추적 할 수 있습니까? 일반적으로 텐서 보드는 단지 전체 메모리를 차지합니다.

Answer 1

Timeline으로 메모리 사용을 추적 할 수 있습니다.

왜 메모리가 반복과 함께 누적 될 수 있는지 알 수 없습니다. 가능한 해결 방법은 메모리 부족이 발생하기 전에 모델을 디스크에 save시키고 나서 교육을 계속하기 위해 복원하는 것입니다.