如何加速YOLO v3v4推断？

Question

我在Jeston Xavier、DNN OpenCV版本上运行YOLO V3或YOLO v4，速度非常慢，在docker容器中使用DNN时，速度几乎达到7-9 FPS。 我想知道您是否可以告诉我加快侦查推断的最简单方法是什么？ 有关于如何加速推理的建议或教程吗

Answer 1

有两件事可以加快推理速度：

• 使用较小的网络大小。例如，使用yolov4-416代替yolov4-608。 这可能是以较低的精确度为代价的
• 尝试将您的网络转换为TensorRT，并使用混合精度（FP16将带来巨大的性能提升，INT8甚至更高，不过您必须重新校准网络）

对于最后一个问题，我建议您关注这个优秀的博客：

blog

Answer 2

您可以减小.cfg文件中的图像大小：

width=416
height=416

• 使用32的倍数。（如果场景中的对象太小，这可能会影响精度）
• 您还可以裁剪输入图像，使感兴趣的区域保持方形。这有助于在减小图像大小时防止任何小对象被过度压缩，因为Yolo会将输入图像压缩到上述width和height，同时保持图像比率

您也可以尝试Yolov3 tiny或Yolov4 tiny，这是一个较小的网络，但这也可能会影响您的准确性。 （这些解决方案都是基于我的经验。在处理YLO或其他卷积网络时，速度和准确性之间总是存在权衡。）