weixin_41138872 2018-04-17 02:03 采纳率: 66.7%
浏览 645
已结题

怎样用Q_learning在回测中更新softmax分类器的系数?

我分析的目标分类随时间的变化各参数的系数会产生变化,比如,用softmax对孩子的健康水平进行分类。随时间的变化,同龄孩子的体重会逐渐偏高,需要用强化学习把体重情况和孩子的健康情况的系数进行更新。
目前,我是随着时间的变化每次测试中重建机器学习框架,重新生成一套系数,但是这样系数变化会比较大,我需要利用强化学习把这个系数变化做得更平滑一些,求大神指教(请根据以下代码进行添加和修改,我看了很多强化学习的案例,还是不知道怎么应用在这里)。

w=[]
u=[]
for lenth in range (5,training_lenth-1):
x=tf.placeholder("float", [None,25])
y=tf.placeholder("float", [None,2])
W=tf.Variable(tf.zeros([25,2]))
b=tf.Variable(tf.zeros([2]))

actv= tf.nn.softmax(tf.matmul(x,W)+b)
cost=tf.reduce_mean(-tf.reduce_sum(y*tf.log(actv), reduction_indices=1))
learning_rate=0.01
optm= tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)
pred=tf.equal(tf.argmax(actv, 1), tf.argmax(y, 1))
accr=tf.reduce_mean(tf.cast(pred,"float"))
init=tf.global_variables_initializer()
sess=tf.InteractiveSession()
sess=tf.Session()
sess.run(init)
training_lenth=len(G)####(回测长度)
training_epochs =500 #训练次数
batch_size = len(G) #每
for epoch in range(training_epochs):
avg_cost=0
num_batch=int(len(G)/batch_size)
for i in range((lenth-4),lenth):
batch_xs=np.array(G[i])
batch_ys=np.array(F[i])
sess.run(optm, feed_dict={x: batch_xs, y: batch_ys})
feeds={x:batch_xs, y: batch_ys}
avg_cost += sess.run (cost, feed_dict=feeds)/(num_batch*lenth)
feeds_train = {x: batch_xs, y: batch_ys}
feeds_test = {x: G[i+1], y: F[i+1]}
train_acc = sess.run(accr, feed_dict=feeds_train) #feed_dict 针对place holder占位
test_acc = sess.run(accr,feed_dict=feeds_test)
w.append(test_acc)
u.append(train_acc)
result=sess.run(actv,feed_dict=feeds_test)
print(result)
print ("lenth: %03d/%03d cost: %.9f train_acc: %.3f test_acc: %.3f" % (lenth, training_epochs, avg_cost, train_acc, test_acc))#打印方法

  • 写回答

0条回答 默认 最新

    报告相同问题?

    悬赏问题

    • ¥15 DIFY API Endpoint 问题。
    • ¥20 sub地址DHCP问题
    • ¥15 delta降尺度计算的一些细节,有偿
    • ¥15 Arduino红外遥控代码有问题
    • ¥15 数值计算离散正交多项式
    • ¥30 数值计算均差系数编程
    • ¥15 redis-full-check比较 两个集群的数据出错
    • ¥15 Matlab编程问题
    • ¥15 训练的多模态特征融合模型准确度很低怎么办
    • ¥15 kylin启动报错log4j类冲突