AsyncInferQueue C++ 的demo

Question

《使用AsyncInferQueue进一步提升AI推理程序的吞吐量》
文章链接：https://blog.csdn.net/gc5r8w07u/article/details/128548344
AsyncInferQueue C++ 的demo有吗?

Answer 1

引用GPT：
根据提供的文章链接，可以得知AsyncInferQueue是一个用于异步推理的API，可以提高AI推理程序的吞吐量。在该文章中，作者提到了如何使用AsyncInferQueue来实现异步推理，并给出了一个C++的demo。但是，文章中并没有提到C语言的demo。

如果您需要C语言的demo，可以参考NVIDIA官方文档中的示例代码。在该文档中，有一个名为"async_infer_c"的示例，其中包含了使用AsyncInferQueue进行异步推理的C语言代码。您可以通过以下链接访问该文档并下载示例代码：https://docs.nvidia.com/deeplearning/tensorrt/sample-support-guide/index.html#async_infer_c