因为输入是变长序列,所以都会在序列后面padding补0。
这样序列数据进行embedding_lookup后会把0对应的embedding值读出来了,但是这实际上是我不希望的。所以我在初始化的时候让第0行的值为0。
但是接下来有一个担忧,在我后续进行训练之后,整个embedding矩阵会被训练,第0行可能后面就不为0了。我要怎么让第0行始终为0,或者说让这一行不可train?
或者说,有什么更好的写法?
因为输入是变长序列,所以都会在序列后面padding补0。
这样序列数据进行embedding_lookup后会把0对应的embedding值读出来了,但是这实际上是我不希望的。所以我在初始化的时候让第0行的值为0。
但是接下来有一个担忧,在我后续进行训练之后,整个embedding矩阵会被训练,第0行可能后面就不为0了。我要怎么让第0行始终为0,或者说让这一行不可train?
或者说,有什么更好的写法?