Tensorflow 서비스에 사전 훈련 된 모델을 사용한 추론은 거의 12 초가 걸립니다.

Question

Google Cloud (4 CPU, 15GB RAM)를 사용하여 tensorflow serving (branch 0.5.1)을 호스팅하고 있습니다. 이 모델은 Keras를 사용하여 가져온 미리 훈련 된 Resnet이며 SavedModelBuilder를 사용하여 .pb 형식으로 변환됩니다.

bazel 빌드 tensorflow_serving/

이를 사용하여 내 로컬 컴퓨터에서 이미지를 추론을하는 ... : 내가 사용 installation docs .Did에 bazel 빌드를 언급 한 바와 같이 Tensorflow 설치 및 컴파일 단계를 서빙 따라 python 클라이언트에서 약 23 초 만에 결과를 보았습니다.이 조언을 따라 약간 조정할 수있었습니다 here. bazel 빌드를 아래 명령으로 대체하여 CPU 최적화를 사용합니다. 이로 인해 응답 시간이 12 초가되었습니다. tensorflow_model_server

:

bazel는 -c 옵트 --copt = -mavx --copt = -mavx2 --copt = -mfma --copt = -msse4.2 // tensorflow_serving/model_servers를 구축 응답 시간에 차이가 없습니다 결과 내가 노력

다른 물건 .. 1. 증가 4 CPU GPU를 테슬라 K80 + 4 CPU 머신

내가 배치 최적화를 시도하지 않은

에 시도 CPU 기계 2. 8, 현재로서는 단일 추론 요청으로 테스트하고 있습니다. 구성에서 사용자 도커 또는 Kubernettes을 지 않습니다.

유추 시간을 낮추는 데 도움이되는 모든 포인터를 사용하십시오. 감사 !

Answer 1

해결 된이 문제. 이제 서브 초 예측 시간을 얻을 수 있습니다. 여러 가지 문제가있었습니다. 하나는 역할을하고 있던 이미지 업로드/다운로드 시간이었습니다. 두 번째는 GPU를 사용하여 실행 중이 었는데, tensorflow는 GPU 지원을 사용하여 컴파일하지 않았습니다. GPU 문제는 다음 링크에서 설명한 두 가지 방법을 사용하여 해결되었습니다. https://github.com/tensorflow/serving/issues/318 및 https://github.com/tensorflow/tensorflow/issues/4841