encoder-decoder内，encoder层使用gru前的rnn或cnn是什么用？

Question

发现在机器学习中，很多seq2seq的encoder内，在使用gru前会使用一次rnn或者cnn先进行一次卷积，请问这个cnn或rnn过程有什么用？

Answer 1

这个一般是根据任务特点而定的，不同的任务要根据这个任务的特点来选择网络结构。从你的问题描述，我猜测可能的情况是（以NLP任务为例）：1. 使用CNN对字向量进行卷积得到词向量，再将词向量输入到GRU中，是一种从字到词，再从词到句子的层次编码结构；2. GRU是序列结构的神经网络，可以编码语序信息，CNN是是卷积结构，可以获得句子中的局部词组信息，将两种信息结合在一起，可能会得到更好的效果。

 

P.s. 不知道你说的RNN，是recurrent neural network ，还是recursive neural network。我猜测是后者，因为前者是GRU的前身，后者是编码层次结构的网络。