WeNet有什么独特的地方吗？比如流识别方面？

Question

WeNet有什么独特的地方吗？比如流识别方面？请帮忙解答一下，谢谢！

Answer 1

WeNet里制作、使用了比U2更优化的U2++算法解决流式的问题。具体思想是做两次识别，第一遍利用CTC的结果，第二遍利用Attention Decoder做rescoring，整体实现模型架构上的流式。Conformer、Transformer模块中的Self-Attention本身是不能做流式识别的，在WeNet中通过dynamic chunk training的方式实现了Conformer和Transformer的流式。