把目前热门的大模型从gpu服务器压缩到嵌入式系统里。

Question

把目前流行的大模型压缩移植到FPGA或者arm平台。市场经济怎么样？需求量这么样？
硬件的需求量怎么样？
可以解决到目前gpu加速卡的短缺吗？

Answer 1

关键是做不出来
无论是FPGA还是ARM处理器，都无法达到GPU的算力。
做不出来，讨论其它的就没有意义了。