单并发，用的WeNetspeech离线大模型以及libtorch1.10，rescore和search都在500ms+，，为什么这么慢呢？一般TLG有多大呀？语言模型大小会很影响速度的吧？

Question

单并发，用的WeNetspeech离线大模型以及libtorch1.10，rescore和search都在500ms+，为什么这么慢呢？一般TLG有多大呀？语言模型大小会很影响速度的吧？

Answer 1

Search很快，rescoring一般100~200ms，WeNetSpeech模型很大，这个时间和机器性能也有关系，语言模型大小不太影响速度。