gpu算力和模型匹配

Question

请问大家怎么根据GPU的TOPS和模型的FLOPs判断模型能否在GPU上跑？
比如20W下的Jetson Xavier NX是21TOPS，YOLOV5s是16.5FLOPs，YOLOv8s是28.7FLOPS，是不是后者无法匹配上GPU的算力，前者是否可以？
十分感谢！

Answer 1

主要看的是显存，算力其实不重要，算力低无非就是慢一些（除非你有时间上的要求，但是一般只是正向传播的时候需要考虑这个，训练无所谓）。
这也是为什么高算力低显存、低带宽的4090比A100之类的专业卡便宜那么多的原因。