Tensorflow模型服务器在CPU上的性能问题与Tensorflow模型推断的比较

Question

我观察到了使用Tensorflow模型服务器的CPU的性能问题。与原始张量流模型推理相比，它的推理时间增加了一倍。两者都是用MKL为CPU构建的。在

要复制的代码：https://github.com/BogdanRuzh/tf_model_service_benchmark

Tensorflow MKL内部版本：bazel build --config=mkl -c opt --copt=-msse4.1 --copt=-msse4.2 --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-O3 //tensorflow/tools/pip_package:build_pip_package

Tensorflow server MKL内部版本：bazel build --config=mkl --config=opt --copt=-msse4.1 --copt=-msse4.2 --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-O3 tensorflow_serving/model_servers:tensorflow_model_server

目标模型为简单的CNN分割模型。在

原始张量流模型在0.17s内处理图像。 Tensorflow模型服务器在0.32s内处理相同的图像

我怎样才能提高这种表现？这对我的申请非常重要。在

Answer 1

我想爆炸会对你有帮助。据说，如果配置不好，使用intel优化的tensorflow性能可能会比清除构建https://github.com/tensorflow/serving/issues/1272#issuecomment-477878180更差

您可以尝试配置批处理的参数（使用配置文件并启用批处理参数）https://github.com/tensorflow/serving/tree/master/tensorflow_serving/batching

并设置（内部/内部）并行度线程。在

另外，MKL有它自己的提高性能的标志https://www.tensorflow.org/guide/performance/overview#tuning_mkl_for_the_best_performance