有关SSM/Mamba原理的一些问题

Question

大家好，
最近在看Mamba的时候，遇到了一些基础方面的问题：

1. 为什么RNN的训练速度快，推理速度慢？（推理时当前隐藏状态不是也接收上一时间步的隐藏状态嘛？换言之推理不也是遵从recurrent的形式吗？训练和推理之间有什么区别和联系？）

2. 为什么SSM写成卷积形式后，推理不如RNN快速？（或者说Kernel的训练/推理形式是怎样的？为什么Kernel size 影响了推理速度？）

感谢各位解答

Answer 1

上午好☀️☀️☀️️
本答案参考ChatGPT-3.5

好的，针对你的问题我来回答一下。

1.为什么RNN的训练速度快，推理速度慢？

• RNN的训练速度相对快是因为它可以使用backpropagation through time (BPTT)算法来进行反向传播。而推理速度相对慢，是因为在推理时需要按顺序逐个计算每个时间步的输出和隐藏状态，这对于长序列来说非常耗时。

• 训练和推理的区别在于，训练时可以通过并行计算来提高计算速度，而在推理时必须按照时间顺序依次计算，无法并行计算。

2.为什么SSM写成卷积形式后，推理不如RNN快速？

• SSM写成卷积形式后，可以使用卷积神经网络（CNN）的技术加速计算。但是与RNN相比，SSM的卷积层中需要处理的信息是整幅图像，而RNN的隐藏状态只包含上一个时间步的信息，因此在处理长时间序列时，RNN的效率更高。

• 此外，SSM中的卷积核大小会影响推理速度，因为卷积核大小会影响处理的信息量和计算复杂度。较小的卷积核可以增加模型的非线性，但是也会增加计算复杂度。

综上所述，RNN在训练时由于可以并行计算，其训练速度相对较快。在推理时需要按照时间顺序依次计算，因此推理速度相对较慢。而SSM写成卷积形式后，可以使用CNN的技术加速计算，但是处理长时间序列时，RNN的效率更高。在使用SSM卷积层时，卷积核大小会影响推理速度，较小的卷积核可以增加模型的非线性，但也会增加计算复杂度。