多个NCS2设备在一个推理机上工作

Question

我成功地创建了一个可以在NCS2上推断的网络。现在，我想通过使用多个并行工作的NCS2设备来加速推理。 我通过以下方式做到这一点：

plugin = IECore()
net = plugin.read_network(model,weight)
exec_net = plugin.load_network(net,'HETERO::MYRIAD.1.1.2-ma2480,MYRIAD.1.2-ma2480')

但是，我的配置不起作用，推断时间没有改变。我还检查了查询层映射，所有层始终只分配给NSC2设备。 有人解决了这个问题吗？如果你知道任何信息，请告诉我。 多谢各位

Answer 1

您正在寻找的是多设备插件。要使用它，你需要用MULTI替换HETERO，如下所示

exec_net = plugin.load_network(net,'MULTI:MYRIAD.1.1.2-ma2480,MYRIAD.1.2-ma2480')

有关插件https://docs.openvinotoolkit.org/latest/openvino_docs_IE_DG_supported_plugins_MULTI.html的详细信息