使用django、gunicorn和Nginx提供深度学习模型时出现超时

2024-09-29 21:47:03 发布

您现在位置:Python中文网/ 问答频道 /正文

我能够在基于django、gunicorn和Nginx的42080Ti GPU上提供深度学习模型。大部分延迟约为200毫秒,但有几个请求需要2秒以上才能完成。它偶尔发生,在某些特定的环境下很难重现。如何解决这个问题

顺便说一句,QPS仅为1~2,因此它不是繁忙的GPU/CPU使用造成的

以下是Nginx日志: nginx log


Tags: django模型gpu环境nginxcpugunicornqps

热门问题