RNN 展开实现LSTM按时间步迭代时,有必要令reuse=true么 5C

我看到很多样例代码中, 展开实现LSTM按时间步迭代时,都如下加上了一句
if timestep > 0:
tf.get_variable_scope().reuse_variables()

with tf.variable_scope('RNN'):
    for timestep in range(timestep_size):
        if timestep > 0:
            tf.get_variable_scope().reuse_variables()
        # 这里的state保存了每一层 LSTM 的状态
        (cell_output, state) = mlstm_cell(X[:, timestep, :], state)

我查了各类RNNCELL类的源代码,发现除了call函数外,还有build函数(此函数似乎是在创建所有的变量),且此函数只调用一次,并且是在call调用之前调用,并且查看源码注释时发现是这样写的:
For backwards compatibility purposes, most RNNCell instances allow their call methods to instantiate variables via tf.get_variable. The underlying variable scope thus keeps track of any variables, and returning cached versions. This is atypical of tf.layer objects, which separate this
part of layer building into a build method that is only called once.

Here we provide a subclass for RNNCell objects that act exactly as
Layer objects do. They must provide a build method and their
call methods do not access Variables tf.get_variable
所以我个人认为这句不需要加,求各位帮忙解答下,该不该加这句话

2个回答

构造CNN以及LSTM等模型的时候,需要重复使用共享权重
如果你不要重复使用共享权重,就不要这一句

weixin_42511145
因为乌鸦像写字台 如果最外面有个大循环,再里面才是timestep的循环,那么外面大循环的第二次循环时,timestep会从零开始,这时的reuse还是false,不是很矛盾么
大约一年之前 回复
weixin_42511145
因为乌鸦像写字台 回复caozhy: 那build函数的作用是什么?他只在第一次调用call之前调用,以后再调用call就不会再调用了
大约一年之前 回复
weixin_42511145
因为乌鸦像写字台 不好意思我还是不太明白,能再教教我么
大约一年之前 回复
caozhy
贵阳老马马善福专业维修游泳池堵漏防水工程 回复因为乌鸦像写字台: 不是参数,而是你模型里面的weight bias还有梯度
大约一年之前 回复
weixin_42511145
因为乌鸦像写字台 请问共享权重是指什么?是指参数么?
大约一年之前 回复

首先说一下有关 “发现除了call函数外,还有build函数,且此函数之调用一次”这个问题,在TensorFlow中需要先构建图或者说神经网络的架构,等图构建完后,在训练或测试阶段数据就会按照构建的图的先后顺序执行,之所以调用一次是因为是在构建图的阶段,之后程序就会执行的。
其次,reuse=true是为了实现权值共享,这样可以节省空间开销,一般机器上的资源如内存或GPU的现存都是有限的,而神经网络有时候参数量很大,这时候如果不进行权值的共享,机器的资源就会被全部占用甚至不够用,这样一来效率也会下降。所以一般神经网络中都会进行权值共享的。

weixin_42511145
因为乌鸦像写字台 回复: 但是call函数会用 get_variable去获取变量么
大约一年之前 回复
weixin_42511145
因为乌鸦像写字台 请问build函数的作用是什么?我知道reuse可以共享权重,但是cal
大约一年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐