Unity结合YOLO项目好实现吗？

Question

结课项目，本人有个想法，即基于YOLO，在Unity平台上开发一个摄像机app，实现摄像时对摄像范围内物体的实时检测。想请教下有没有开发过类似项目的朋友，Unity和YOLO目标检测相结合开发难度大不大？我已经训练好模型了，关键是如何将模型和Unity平台相关联，这一点我不太了解

Answer 1

unity本身不知道有没有带神经网络的库，没用过就不是很清楚，不过另外一条通用的路子肯定是可以的。
那就是将训练好的模型转成onnx，到这一步就可以用opencv或者onnxruntime之类的第三方库来完成推理等操作，速度要求高的话还可以调用到显卡。此外还有只支持N卡加速的tensorRT和支持英特尔cpu的openvino，看你的硬件支持和速度要求，自己选择推理引擎。
之后就是将部署部分写好接口，比如输入图片，一些参数，然后输出结果。定好接口之后，导出为dll，给unity调用，只要将图片和参数传下来，从接口获取结果一样可以达到你要的效果。
这里面，部署部分github上面很多，各种各样的推理引擎，yolov1-yolov8全部都有，将其中的参数改成你自己的模型即可。我认为比较难的地方在于封装dll和接口部分，这里就看你c++和dll封装咋样了，调用部分就是正常的调用dll方式即可。