tflite模型在CPU和NNAPI上输出不同的预测

2024-07-03 07:31:22 发布

您现在位置:Python中文网/ 问答频道 /正文

我在Ubuntu18.04机器上训练并量化了Tensorflow模型,并将其转换为tflite格式。然后我将它部署在一个Linux Yocto板上,该板配备了NPU加速器tflite_runtimeNNAPI。我注意到,当使用PC上的CPU和主板上的NPU+NNAPI进行推断时,相同的tflite模型输出不同的预测。这些预测通常是相似的,但在某些情况下它们是完全不同的。我试图禁用主板上的NNAPI,并使用CPU进行推断,结果与PC CPU上的结果相同。所以我认为问题在于NNAPI。然而,我不知道为什么会发生这种情况。有没有办法防止这种情况发生,或者在培训期间使网络更加健壮


Tags: 模型机器linuxtensorflow部署格式情况cpu
1条回答
网友
1楼 · 发布于 2024-07-03 07:31:22

菲里奥

NNAPI团队也有兴趣了解更多信息

预计会有小的变化,但不应出现完全不同的结果

你试过不同的设备吗?你看到同样的变化了吗

您提到了一个Linux Yocto构建。您是在Yocto上使用Android运行测试,还是使用NNAPI的Linux版本

相关问题 更多 >