使用RNN进行手写数字识别,为什么正确率总是无法提高

我使用最简单RNN进行mnist手写数字的识别,为什么交叉商总是无法降低呢。完整代码如下。

import tensorflow as tf

from tensorflow.contrib.layers import fully_connected
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets('/home/as/mnist_dataset', one_hot=True)
n_steps = 28
n_inputs = 28
n_neurons = 100
x = tf.placeholder(tf.float32,[None,n_steps,n_inputs])
action_one_hot = tf.placeholder(tf.float32,[None,10])

basic_cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons)
output_seqs, states = tf.nn.dynamic_rnn(basic_cell,x,dtype=tf.float32)
y0 = fully_connected(states,100,activation_fn=tf.nn.relu)
y = fully_connected(y0,10)
cross_entropy = tf.nn.softmax_cross_entropy_with_logits(labels=action_one_hot, logits=y)
mean_loss = tf.reduce_mean(cross_entropy)
trian_op = tf.train.AdamOptimizer(0.001).minimize(mean_loss)

with tf.Session() as sess:
    for i in range(10000):
        sess.run(tf.global_variables_initializer())
        x1,y1 = mnist.train.next_batch(1000)
        x1 = x1.reshape((-1,n_steps,n_inputs))
        sess.run(trian_op,feed_dict={x:x1,action_one_hot:y1})
        if i%200==0:
            print(sess.run(mean_loss,feed_dict={x:x1,action_one_hot:y1}))

就是在每200步输出一下交叉商,但是这个交叉商总是无法下降。

1个回答

RNN做文字识别没有什么优势,建议你用CNN。

caozhy
贵阳老马马善福专业维修游泳池堵漏防水工程 或者是overfit/underfit,然后调整下神经元数目
11 个月之前 回复
caozhy
贵阳老马马善福专业维修游泳池堵漏防水工程 回复qq_34644971: 你加上summary用tensor board看下,是不是梯度消失了。
11 个月之前 回复
qq_34644971
qq_34644971 你好,我知道用cnn作图像比较好,但是我现在在学习rnn,所以我想用rnn作这个。你知道为什么我的代码效果不好呢?
11 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!