在编译onnx生成.trt模型时，提示生成错误，试了好几次就是不行
求解求解
编译ONNX生成。trt时出错
- 写回答
- 好问题 0 提建议
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2025-04-16 07:06观熵的博客 > - 如何使用 `onnxsim`、`onnxruntime`、`TensorRT` 等工具链完成动态 shape 模型的编译与性能优化？ > - 常见坑点：动态 shape 导出失败、推理时报错、性能下降问题的定位与解决路径 > - 多输入、多分辨率、多 ...
- 2025-04-14 21:30观熵的博客 > 本文围绕“**ONNX × TensorRT × SmoothQuant**”三件套，从模型导出到引擎构建，从精度测试到吞吐 benchmark，一步步带你评估这条路线是否适合你的业务场景。 > 是“未来感”的部署解法，还是“还不够成熟”的...
- 2022-10-11 14:30有来有去9527的博客 2]) [10/10/2022-17:50:38] [E] Failed to parse onnx file 问题定位 通过编译onnx-tensorrt工程，直接使用onnxtrt程序进行模型转化调试，发现当pytorch转onnx采用opset11时，pad层的信息为： 也即是，pad层有三个...
- 2025-05-08 12:30观熵的博客 随着人工智能系统向多终端、多场景、多算力方向演进，企业在实际部署中面临模型版本分裂、推理引擎割裂、平台间格式不兼容等一系列工程难题。传统的单引擎部署模式无法满足 GPU、NPU、CPU、FPGA 等异构设备的高效...
- 2023-08-04 08:48初岘的博客 2. 在转为TensorRT模型时,可以适当调整最大batchsize、workspace大小等参数,以取得最佳的性能。2. 获取预训练BERT模型:可以直接下载官方提供的PyTorch模型,或训练自定义BERT模型。1. 模型转换要注意输入输出格式的...
- 2025-06-06 19:57MARS.QZ的博客 文章以ONNX模型在NVIDIA Jetson Nano和RK3399Pro NPU上的部署为例，具体说明了模型转换、量化、性能测试和集成应用的方法，并提示了算子兼容性、精度损失、内存带宽等常见风险。通过系统化的流程和资源评估，可确
- 2022-10-14 18:12绿竹巷人的博客 Ubuntu20.04系统安装CUDA、cuDNN、onnxruntime、TensorRT
- 2025-04-28 07:30计算机学长的博客 一、引言 在人工智能飞速发展的当下，AI 模型部署已成为众多开发者关注的焦点。Python 作为一种广泛应用于 AI 领域的编程语言，其部署 AI 模型的方案也层出不穷。而在众多方案中，VLLM 和 TensorRT-LLM 脱颖而出，...
- 2025-05-03 22:17观熵的博客 随着农业智能化进程加速，传统依赖人力经验的病虫害识别与作物产量评估方式，已无法满足大规模、精细化生产需求。本文基于国产大模型的实际应用案例，深入解析如何构建面向田间场景的“病虫害识别+产量预测”一体化...
- 2023-12-27 17:17jin__9981的博客 三、tensorrt的转换方法 四、tensorrtx 五、案例：yolov5转换tensorrt 六、总结 pt权重转为tensorrt，在这个过程踩过很多坑，特别是在环境搭建这部分，要不就是系统有问题、编译出错、pycuda安装、gcc各种坑，...
- 2025-03-29 15:32ExplorerEverything的博客 执行python3 yolov5_det_trt.py 出现的错误有np.bool值已经不在使用。把tensorRt的yolov5下面的gen_wts.py带入到外面的yolov5的文件。#1、把tensorrt/yolov5下的gen_wts.py复制到yolov5的文件夹下。错误原因是numpy...
- 2025-05-05 22:28观熵的博客 在边缘 AI 快速落地的背景下，端云模型协同面临的最大挑战是带宽受限、节点异构与模型迭代频繁。传统整包替换方式不仅通信成本高，还难以保障各端一致性与动态更新的稳定性。本文聚焦工业级 AI 系统的“端云模型同步...
- 2023-12-03 21:58山山而川_R的博客 1 什么是TensorRT一般的深度学习项目，训练时为了加快速度，会使用多 GPU 分布式训练。但在部署推理时，为了降低成本，往往使用单个 GPU 机器甚至嵌入式平台（比如 NVIDIA Jetson）进行部署，部署端也要有与训练时...
- 2025-05-29 20:33观熵的博客 通过构建教师模型（teacher），设计合理的蒸馏结构生成学生模型（student），再配合硬件友好格式转化（如 ONNX）与编译优化推理（如 TensorRT），可有效实现模型性能与资源消耗间的平衡。 此外，随着国产模型压缩...
- 2024-07-02 18:37__echooo的博客 如果cuda用了deb版本安装，那么TensorRT 也必须用deb版本安装，否则容易安装失败或后续出错！！ 方法一：使用tar格式安装 由于上面cuda用的run版本安装，因此这里的tensorRT作者选择tar格式安装 选择tar版本下载 ...
- 2025-04-12 23:37观熵的博客 多模态系统正在成为 AI 应用的主流架构，如何将语言大模型（LLM）与视觉模型（如 CLIP、BLIP、SAM、YOLO）协同部署，是落地 AI Agent、VQA 系统、文图检索、场景分析的关键。 > 本文将从工程角度深入讲解如何使用 ...
- 2024-12-16 00:15whaosoft-143的博客 SiLU其实就是swish激活函数，而在onnx模型里是不直接支持swish算子的，因此在转换生成onnx文件时，SiLU激活函数不能直接使用nn.Module里提供的接口，而需要自定义实现它。 2）、opencv的dnn模块读取.onnx文件做前向...
- 2023-11-02 16:04whaosoft143的博客 灵活性上，我感觉vllm和TensorRT-LLM不分上下，加上大模型的结构其实都差不多，甚至TensorRT-LLM都没有上onnx-parser，在后续更新模型上，python快速搭建模型效率也都差不了多少。然后就是TensorRT的编译、构建...
- 2023-02-14 21:56王向阳的博客 id=1 config-file=./Models/config.txt [primary-gie]插件就是我们需要用到的推理插件，这个插件在deepstream-app的txt配置文件中需要写的东西不多，上面的几个参数分别是使能，bbox框颜色，bbox框是否生成唯一id。...
- 没有解决我的问题, 去提问
问题事件
创建了问题
3月16日