Tensorflow out of memory

Question

나는 tensorflow를 사용하여 CNN 기반 텍스트 분류를 작성하고 있습니다. 일부 데이터 세트는 크고 일부 데이터 세트는 작습니다.

저는 feed_dict를 사용하여 시스템 메모리 (GPU 메모리 아님)에서 데이터를 샘플링하여 네트워크에 공급합니다. 네트워크는 배치별로 훈련 된 배치입니다. 배치 크기는 모든 데이터 세트에 대해 고정 된 1024입니다.

내 질문 : 네트워크는 일괄 처리로 훈련되며 각 일괄 처리 코드는 시스템 메모리에서 데이터를 검색합니다. 따라서 데이터 세트의 크기가 아무리 크다해도 코드가이를 동일하게 처리해야합니다. 맞습니까?

하지만 큰 데이터 세트로 인해 메모리 문제가 발생했으며 작은 데이터 세트에서는 문제가 없습니다. 나는 시스템 메모리가 모든 데이터를 보유하기에 충분하다는 것을 확신한다. 그래서 OOM 문제는 텐서 흐름에 관한 문제입니다.

내 코드를 잘못 작성했거나 tensorflow의 메모리 관리에 관한 것입니까?

고맙습니다.

Answer 1

배치 크기가 1024와 너무 큽니다. 특히 AgaGrad Adam과 같은 드롭 아웃, 관심 및/또는 기타 기능을 사용하는 경우 많은 매트릭스 오버 헤드가 생성됩니다. 100과 같은 더 작은 값을 배치 크기와 같이 시도하십시오. 해결하고 잘 훈련해야합니다.