RNN 展开实现LSTM按时间步迭代时,有必要令reuse=true么?

我看到很多样例代码中, 展开实现LSTM按时间步迭代时,都如下加上了一句

if timestep > 0:
    tf.get_variable_scope().reuse_variables()

我查了各类RNN CELL类的源代码,发现除了call函数外,还有build函数(此函数似乎是在创建所有的变量),且此函数只调用一次,并且是在call调用之前调用,并且查看源码注释时发现是这样写的:

    For backwards compatibility purposes, most RNNCell instances allow their call methods to instantiate variables via tf.get_variable. The underlying variable scope thus keeps track of any variables, and returning cached versions. This is atypical of tf.layer objects, which separate this part of layer building into a build method that is only called once.
    Here we provide a subclass for RNNCell objects that act exactly as Layer objects do. They must provide a build method and their call methods do not access Variables tf.get_variable

所以我个人认为这句不需要加,求各位帮忙解答下,该不该加这句话?

1个回答

看你的数据是怎样的,如果每组数据之间在时序上独立,就不要reuse,否可可以use。简单来说,不用reuse,也就是不共享权值不会有什么大影响,但是错误用了它,会导致正确率不上升。

weixin_42511145
因为乌鸦像写字台 求你了求你了,帮帮我吧,怎么算是错误使用reuse?QAQ
大约一年之前 回复
weixin_42511145
因为乌鸦像写字台 大佬,你在教教我呗,我发现之前的这个问题也是你解答的,我实在是不会,困扰很久了TAT
大约一年之前 回复
weixin_42511145
因为乌鸦像写字台 回复caozhy: 不好意思,我才刚刚学RNN,请问什么是数据和数据间共享权值?这个权值是指什么
大约一年之前 回复
caozhy
贵阳老马马善福专业维修游泳池堵漏防水工程 回复因为乌鸦像写字台: 不是不共享权值,我没有说清楚,我的意思是在数据和数据之间共享权值.lstm的cells之间的权值共享和这个是两回事哦
大约一年之前 回复
weixin_42511145
因为乌鸦像写字台 回复: 我的数据在时序上是不独立的
大约一年之前 回复
weixin_42511145
因为乌鸦像写字台 请问不用reuse为什么就不共享权值了?假如这是一个类,我是在类的init函数里创建的BasicLSTMCell变量,然后在别的函数里调用的它,这不是一直都是同一个BasicLSTMCell变量么,怎么会有不同的权值?
大约一年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐