openvino异步、多线程推理与逐一推理速度相同问题
opencv吧
全部回复
仅看楼主
level 2
请问有哪位大佬知道openvino的异步推理为什么运行效果和逐一推理的效果是一样的,有什么办法让四个推理同时运行,把GPU占满的方法吗,我Thread和concurrent . futures运行效果也是和逐一推理一样,intel(R) UHD Graphics的占用都是50%-60%,有什么办法让占用率直逼100,加速总体推理速度的办法吗
(Tip:检测结果图像上的文字没参考价值,重点是运行时间)
2024年06月12日 01点06分 1
level 2
不运行代码的GPU占有率是33
2024年06月12日 01点06分 2
1