神经网络解决非线性回归问题，调整层数，激活函数等未取得好的效果，求各位大神指导_course

1.利用神经网络去解决多维非线性回归问题遇到问题 2.代码如下 ``` # --------------------------------------------------------------------------------------------------------------模块导入 import time import matplotlib.pyplot as plt import DNCR.two_dimension.v3_NN.get_data as get_data import tensorflow as tf import numpy as np import DNCR.two_dimension.v3_NN.Normalize_data as Normalize # ---------------------------------------------------------------------------------------------------------------------- # ----------------------------------------------------------------------------------------------------------获取开始时间 start = time.process_time() # ---------------------------------------------------------------------------------------------------------------------- # --------------------------------------------------------------------------------------------------训练数据和待预测数据 # 获得归一化特征数据集 feature_train, feature_new = Normalize.normalize_feature(get_data.get_kn_feature(['Kn30-J-feature.dat', 'Kn30-J-feature.dat']), 1, 1) # 获得归一化标记数据集及每个标记值的数值大小跨度 sign_train, max_min_len = Normalize.normalize_sign(get_data.get_delta_sign(['Kn30-J-sign.dat'])) sign_new = get_data.get_delta_sign(['Kn30-J-sign.dat']) # ---------------------------------------------------------------------------------------------------------------------- # ---------------------------------------------------------------------------------------------------------------------- # 定义placeholder x = tf.placeholder(tf.float32, [None, 5]) # 行不确定，有5列 y = tf.placeholder(tf.float32, [None, 1]) # 每个标记值训练一个神经网络 # ---------------------------------------------------------------------------------------------------------------------- # ----------------------------------------------------------------------------------------------------------神经网络函数 def neural_func(): Weights_L1 = tf.Variable(tf.random_normal([5, 40])) # 5行40列 biases_L1 = tf.Variable(tf.zeros([1, 40])) # biase永远为1行，列数和权重列数保持一致 Wx_plus_b_L1 = tf.matmul(x, Weights_L1) + biases_L1 L1 = tf.nn.sigmoid(Wx_plus_b_L1) Weights_L2 = tf.Variable(tf.random_normal([40, 80])) biases_L2 = tf.Variable(tf.zeros([1, 80])) Wx_plus_b_L2 = tf.matmul(L1, Weights_L2) + biases_L2 L2 = tf.nn.sigmoid(Wx_plus_b_L2) Weights_L3 = tf.Variable(tf.random_normal([80, 40])) biases_L3 = tf.Variable(tf.zeros([1, 40])) Wx_plus_b_L3 = tf.matmul(L2, Weights_L3) + biases_L3 L3 = tf.nn.sigmoid(Wx_plus_b_L3) Weights_L4 = tf.Variable(tf.random_normal([40, 20])) biases_L4 = tf.Variable(tf.zeros([1, 20])) Wx_plus_b_L4 = tf.matmul(L3, Weights_L4) + biases_L4 L4 = tf.nn.sigmoid(Wx_plus_b_L4) # Weights_L5 = tf.Variable(tf.random_normal([20, 100])) # biases_L5 = tf.Variable(tf.zeros([1, 100])) # Wx_plus_b_L5 = tf.matmul(L4, Weights_L5) + biases_L5 # L5 = tf.nn.tanh(Wx_plus_b_L5) # # Weights_L6 = tf.Variable(tf.random_normal([100, 100])) # biases_L6 = tf.Variable(tf.zeros([1, 100])) # Wx_plus_b_L6 = tf.matmul(L5, Weights_L6) + biases_L6 # L6 = tf.nn.tanh(Wx_plus_b_L6) # ------------------------------------------------------------------------------------------------------------------ # ------------------------------------------------------------------------------------------------------------输出层 Weights_L7 = tf.Variable(tf.random_normal([20, 1])) biases_L7 = tf.Variable(tf.zeros([1, 1])) Wx_plus_b_L7 = tf.matmul(L4, Weights_L7) + biases_L7 prediction = tf.nn.tanh(Wx_plus_b_L7) return prediction # ---------------------------------------------------------------------------------------------------------------------- # ----------------------------------------------------------------------------------------------------------神经网络训练 prediction = neural_func() loss = tf.reduce_mean(tf.square(y - prediction)) # 损失函数 train_step = tf.train.GradientDescentOptimizer(0.05).minimize(loss) # 使用梯度下降法训练 result = [] # 结果列表 with tf.Session() as sess: for i in range(len(sign_train)): sess.run(tf.global_variables_initializer()) # 变量初始化 for _ in range(10000): sess.run(train_step, feed_dict={x: feature_train, y: np.transpose(sign_train[i])}) # 训练 print(sess.run(loss, feed_dict={x: feature_train, y: np.transpose(sign_train[i])})) # 输出每步损失值 prediction_value = sess.run(prediction, feed_dict={x: feature_new}) # 获得预测值 result.append(np.transpose(prediction_value*max_min_len[i]).tolist()[0]) # ---------------------------------------------------------------------------------------------------------------------- # ----------------------------------------------------------------------------------------------------------------可视化 title_list = ['Delta(hfx)', 'Delta(hfy)', 'Delta(tauxx)', 'Delta(tauxy)', 'Delta(tauyy)', 'Delta(RuRx)', 'Delta(RvRx)', 'Delta(RTRx)', 'Delta(RuRy)', 'Delta(RvRy)', 'Delta(RTRy)'] # 图标题列表 def Visual_func(): for i in range(len(result)): title = title_list[i] plt.title(title, fontsize='xx-large') plt.plot(range(len(result[i])), sign_new[i], c='y', marker='o') plt.plot(range(len(result[i])), result[i], c='b', marker='*') # 设置刻度字体大小 plt.xticks(fontsize=20) plt.yticks(fontsize=20) plt.legend(['Train-I', 'Predict-I'], fontsize=20, loc='best') plt.show() Visual_func() time_length = time.process_time() - start print('运行结束!程序运行时间为:', time_length, 's') ``` 输入与输出也进行了归一化，输出也进行了反归一化，效果一直不好。 如下图所示，第一张图片中每行代表一个样本，第二张图片中每行中的单个数据代表需要得到的非线性回归关系，总共11个关系。   如果有大佬能帮忙解决，感激不尽。 (导入的模块中有两个自编模块)以及数据还未上传，可以联系找我要。

分类卷积神经网络怎么识别视频？思路是什么_course

我用cnn方式训练了一个十分类网络，分类的是行人的10种不同状态，我现在想用这个网络去进行行人的状态监测，10个分类中有一种是危险的，我希望当视频中有这种状态时，神经网络模型可以分类出来然后发出警报。 我的想法是将视频按照帧数实时截取图片输入训练好的CNN模型，然后实时分类输出结果，但是这种是否可行么？我觉得可行性不大，刚入门也不是很了解，希望有做过这方面的大佬可以解答小弟疑惑，谢谢各位。

卷积神经网络的嵌入式问题_course

本人现在有基于tensorflow和keras训练好的卷积神经网络模型H5文件，我想把它搞到嵌入式开发板中间去，然后外接摄像头实时获取图片然后输入到CNN模型进行识别输出，只是为了毕业，请问有什么好用的开发板推荐码？ 或者树莓派4和jeston nano哪个对于新手来说好搞啊？ 求指点

卷积神经网络准确率一开始很高之后一直很低是什么原因_course

 训练数据2000个 batchsize为20 这个变化是什么规律呀 均方误差曲线图是上升的趋势

神经网络训练和测试用的图片输入大小不一？_course

最近研究立体匹配，看了很多论文，发现很多输入图片都进行了随机的crop裁剪， 把图片裁剪为256x512后再进行训练。 这样可以增加数据集和减少训练时间。 但是测试的时候或者验证的时候就用原图片大小，或者一个新的图片大小。 请问这样不会再全连接层的时候因为参数数量不一样而出问题吗？ 求大神解答一下，下面贴一下我看到的代码 ``` if self.training: w, h = left_img.size th, tw = 256, 512 x1 = random.randint(0, w - tw) y1 = random.randint(0, h - th) left_img = left_img.crop((x1, y1, x1 + tw, y1 + th)) right_img = right_img.crop((x1, y1, x1 + tw, y1 + th)) dataL = np.array(dataL, dtype=np.float32) / 256 dataL = dataL[y1:y1 + th, x1:x1 + tw] processed = preprocess.get_transform(augment=False) left_img = processed(left_img) right_img = processed(right_img) return left_img, right_img, dataL else: w, h = left_img.size left_img = left_img.crop((w - 1232, h - 368, w, h)) right_img = right_img.crop((w - 1232, h - 368, w, h)) w1, h1 = left_img.size dataL = dataL.crop((w - 1232, h - 368, w, h)) dataL = np.ascontiguousarray(dataL, dtype=np.float32) / 256 processed = preprocess.get_transform(augment=False) left_img = processed(left_img) right_img = processed(right_img) return left_img, right_img, dataL ``` 这里的preprocess是进行归一化和标准化 ``` transforms.ToTensor(), transforms.Normalize(**normalize), ```

使用tensorflow完成手写英文字母识别，有偿！_course

全连接网络，CNN RNN LSTM等技术都可以！只要能识别，不用tensorflow都可以！求！！

卷积神经网络准确率提高后突降变很低是为什么？_course

卷积神经网络准确率提高后突降变很低是为什么？</br> </br> 训练数据集分成 275 批, 前面每批 16 个数据，最后一批 15 个数据，共4399个。是硬件问题(显存太小，950M 4G)还是程序编写问题。 卷积网络模型就是2个卷积池化+2个全连接。

tensorflow训练自己的数据集_course

tensorflow框架下进行VGG网络的训练，训练自己的数据集，生成模型，损失函数的计算一直保持0.69，这是为什么，应该怎样调整？

我想问问，怎么在一个神经网络模型中提高训练集的数量，我在网上搜索的时候越搜脑子越转不过来_course

我想问问，怎么在一个神经网络模型中提高训练集的数量，我在网上搜索的时候越搜脑子越转不过来

请问高手：基于深度学习的图像算法的落地应用有哪些？_course

请问高手：基于深度学习的图像算法的落地应用有哪些？主要说说目标检测和目标跟踪的实际落地项目

Tensorflow-gpu 显存不会自动释放？_course

在jupyter上跑with tf.Session() as sess语句结束后，电脑变得很卡，打开任务管理器 显存占用3.2G，点了restart显存才能释放，我显存4G的，这是什么原因？为什么教学视频中用cpu 没这个问题

人脸识别：tensorflow和facenet的区别_course

最近接触了tensorflow和facenet的人脸识别，用pip安装第三方库的时候安装了tensorflow和facenet，但是在安装facenet时发现也要安装tensorflow，想问下大佬这两个有什么区别，主要都分别来干什么的？是不是facenet包含了tensorflow? 还有在代码编译出遇到了一个问题，一直提示没有 ``` ModuleNotFoundError: No module named 'align.detect_face' ``` 有没有大佬遇到过?有什么办法解决吗？ 我在C:\Users\54600\Miniconda\Lib\site-packages下有facenet和Tensorflow的问价夹，CMD下pip list 也显示了相应的安装，但是就是加载不出来？

卷积神经网络测试集准确率很低且不变？_course

在训练网络时，查看对测试集的准确率，一直很低且不变（也就是网络并没有学习）的原因是什么？  是迭代次数比较少吗？前200次迭代都是这样。

深度学习目标跟踪的问题_course

请问哪位高手实现过siammask目标跟踪模型实现多目标跟踪？ 说以下思路，或者介绍一篇文章，谢谢。

关于卷积神经网络批标准化的问题_course

在批标准化（BN）操作中，如果batch size大小为32，特征图深度为16，那么该BN层的总参数以及可训练参数个数分别是多少？该怎么计算？

Tensorflow 多GPU并行训练，模型收敛su'du'ma_course

在使用多GPU并行训练深度学习神经网络时，以TFrecords 形式读取MNIST数据的训练数据进行训练，发现比直接用MNIST训练数据训练相同模型时，发现前者收敛速度慢和运行时间长，已知模型没有问题，想请大神帮忙看看是什么原因导致运行速度慢，运行时间长 ``` import os import time import numpy as np import tensorflow as tf from datetime import datetime import tensorflow.compat.v1 as v1 from tensorflow.examples.tutorials.mnist import input_data BATCH_SIZE = 100 LEARNING_RATE = 1e-4 LEARNING_RATE_DECAY = 0.99 REGULARZTION_RATE = 1e-4 EPOCHS = 10000 MOVING_AVERAGE_DECAY = 0.99 N_GPU = 2 MODEL_SAVE_PATH = r'F:\model\log_dir' MODEL_NAME = 'model.ckpt' TRAIN_PATH = r'F:\model\threads_file\MNIST_data_tfrecords\train.tfrecords' TEST_PATH = r'F:\model\threads_file\MNIST_data_tfrecords\test.tfrecords' def __int64_feature(value): return v1.train.Feature(int64_list=v1.train.Int64List(value=[value])) def __bytes_feature(value): return v1.train.Feature(bytes_list=v1.train.BytesList(value=[value])) def creat_tfrecords(path, data, labels): writer = tf.io.TFRecordWriter(path) for i in range(len(data)): image = data[i].tostring() label = labels[i] examples = v1.train.Example(features=v1.train.Features(feature={ 'image': __bytes_feature(image), 'label': __int64_feature(label) })) writer.write(examples.SerializeToString()) writer.close() def parser(record): features = v1.parse_single_example(record, features={ 'image': v1.FixedLenFeature([], tf.string), 'label': v1.FixedLenFeature([], tf.int64) }) image = tf.decode_raw(features['image'], tf.uint8) image = tf.reshape(image, [28, 28, 1]) image = tf.cast(image, tf.float32) label = tf.cast(features['label'], tf.int32) label = tf.one_hot(label, 10, on_value=1, off_value=0) return image, label def get_input(batch_size, path): dataset = tf.data.TFRecordDataset([path]) dataset = dataset.map(parser) dataset = dataset.shuffle(10000) dataset = dataset.repeat(100) dataset = dataset.batch(batch_size) iterator = dataset.make_one_shot_iterator() image, label = iterator.get_next() return image, label def model_inference(images, labels, rate, regularzer=None, reuse_variables=None): with v1.variable_scope(v1.get_variable_scope(), reuse=reuse_variables): with tf.compat.v1.variable_scope('First_conv'): w1 = tf.compat.v1.get_variable('weights', [3, 3, 1, 32], tf.float32, initializer=tf.compat.v1.truncated_normal_initializer(stddev=0.1)) if regularzer: tf.add_to_collection('losses', regularzer(w1)) b1 = tf.compat.v1.get_variable('biases', [32], tf.float32, initializer=tf.compat.v1.constant_initializer(0.1)) activation1 = tf.nn.relu(tf.nn.conv2d(images, w1, strides=[1, 1, 1, 1], padding='SAME') + b1) out1 = tf.nn.max_pool2d(activation1, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME') with tf.compat.v1.variable_scope('Second_conv'): w2 = tf.compat.v1.get_variable('weight', [3, 3, 32, 64], tf.float32, initializer=tf.compat.v1.truncated_normal_initializer(stddev=0.1)) if regularzer: tf.add_to_collection('losses', regularzer(w2)) b2 = tf.compat.v1.get_variable('biases', [64], tf.float32, initializer=tf.compat.v1.constant_initializer(0.1)) activation2 = tf.nn.relu(tf.nn.conv2d(out1, w2, strides=[1, 1, 1, 1], padding='SAME') + b2) out2 = tf.nn.max_pool2d(activation2, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME') out3 = tf.reshape(out2, [-1, 7*7*64], name='flatten') with tf.compat.v1.variable_scope('FC_1'): w3 = tf.compat.v1.get_variable('weight', [7*7*64, 1024], tf.float32, initializer=tf.compat.v1.truncated_normal_initializer(stddev=0.1)) if regularzer: tf.add_to_collection('losses', regularzer(w3)) b3 = tf.compat.v1.get_variable('biases', [1024], tf.float32, initializer=tf.compat.v1.constant_initializer(0.1)) activation3 = tf.nn.relu(tf.matmul(out3, w3) + b3) out4 = tf.nn.dropout(activation3, keep_prob=rate) with tf.compat.v1.variable_scope('FC_2'): w4 = tf.compat.v1.get_variable('weight', [1024, 10], tf.float32, initializer=tf.compat.v1.truncated_normal_initializer(stddev=0.1)) if regularzer: tf.add_to_collection('losses', regularzer(w4)) b4 = tf.compat.v1.get_variable('biases', [10], tf.float32, initializer=tf.compat.v1.constant_initializer(0.1)) output = tf.nn.softmax(tf.matmul(out4, w4) + b4) with tf.compat.v1.variable_scope('Loss_entropy'): if regularzer: loss = tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(labels=tf.argmax(labels, 1), logits=output)) \ + tf.add_n(tf.get_collection('losses')) else: loss = tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(labels=tf.argmax(labels, 1), logits=output)) with tf.compat.v1.variable_scope('Accuracy'): correct_data = tf.equal(tf.math.argmax(labels, 1), tf.math.argmax(output, 1)) accuracy = tf.reduce_mean(tf.cast(correct_data, tf.float32, name='accuracy')) return output, loss, accuracy def average_gradients(tower_grads): average_grads = [] for grad_and_vars in zip(*tower_grads): grads = [] for g, v2 in grad_and_vars: expanded_g = tf.expand_dims(g, 0) grads.append(expanded_g) grad = tf.concat(grads, 0) grad = tf.reduce_mean(grad, 0) v = grad_and_vars[0][1] grad_and_var = (grad, v) average_grads.append(grad_and_var) return average_grads def main(argv=None): with tf.Graph().as_default(), tf.device('/cpu:0'): x, y = get_input(batch_size=BATCH_SIZE, path=TRAIN_PATH) regularizer = tf.contrib.layers.l2_regularizer(REGULARZTION_RATE) global_step = v1.get_variable('global_step', [], initializer=v1.constant_initializer(0), trainable=False) lr = v1.train.exponential_decay(LEARNING_RATE, global_step, 55000/BATCH_SIZE, LEARNING_RATE_DECAY) opt = v1.train.AdamOptimizer(lr) tower_grads = [] reuse_variables = False device = ['/gpu:0', '/cpu:0'] for i in range(len(device)): with tf.device(device[i]): with v1.name_scope(device[i][1:4] + '_0') as scope: out, cur_loss, acc = model_inference(x, y, 0.3, regularizer, reuse_variables) reuse_variables = True grads = opt.compute_gradients(cur_loss) tower_grads.append(grads) grads = average_gradients(tower_grads) for grad, var in grads: if grad is not None: v1.summary.histogram('gradients_on_average/%s' % var.op.name, grad) apply_gradient_op = opt.apply_gradients(grads, global_step) for var in v1.trainable_variables(): tf.summary.histogram(var.op.name, var) variable_averages = v1.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, global_step) variable_to_average = (v1.trainable_variables() + v1.moving_average_variables()) variable_averages_op = variable_averages.apply(variable_to_average) train_op = tf.group(apply_gradient_op, variable_averages_op) saver = v1.train.Saver(max_to_keep=1) summary_op = v1.summary.merge_all() # merge_all 可以将所有summary全部保存到磁盘 init = v1.global_variables_initializer() with v1.Session(config=v1.ConfigProto(allow_soft_placement=True, log_device_placement=True)) as sess: init.run() summary_writer = v1.summary.FileWriter(MODEL_SAVE_PATH, sess.graph) # 指定一个文件用来保存图 for step in range(EPOCHS): try: start_time = time.time() _, loss_value, out_value, acc_value = sess.run([train_op, cur_loss, out, acc]) duration = time.time() - start_time if step != 0 and step % 100 == 0: num_examples_per_step = BATCH_SIZE * N_GPU examples_per_sec = num_examples_per_step / duration sec_per_batch = duration / N_GPU format_str = '%s: step %d, loss = %.2f(%.1f examples/sec; %.3f sec/batch), accuracy = %.2f' print(format_str % (datetime.now(), step, loss_value, examples_per_sec, sec_per_batch, acc_value)) summary = sess.run(summary_op) summary_writer.add_summary(summary, step) if step % 100 == 0 or (step + 1) == EPOCHS: checkpoint_path = os.path.join(MODEL_SAVE_PATH, MODEL_NAME) saver.save(sess, checkpoint_path, global_step=step) except tf.errors.OutOfRangeError: break if __name__ == '__main__': tf.app.run() ```

Tensorflow中进行图像随机resize为什么会失败_course

初学Tensorflow，望见谅，最近在学习数据増广，发现在进行图像大小随机缩放时会出错，代码如下： ``` img = tf.placeholder(tf.uint8,shape=[2048,1024,3]) #随机获取Scale scale = tf.random_uniform([1], minval=0.5, maxval=2.0, dtype=tf.float32, seed=None) #求resize后的图像大小 h_new = tf.to_int32(tf.multiply(tf.to_float(tf.shape(img)[0]), scale)) w_new = tf.to_int32(tf.multiply(tf.to_float(tf.shape(img)[1]), scale)) #进行resize new_shape = tf.squeeze(tf.stack([h_new, w_new]), squeeze_dims=[1]) img = tf.image.resize_images(img, size=new_shape) ``` 但是我发现，resize以后的img的高和宽竟然是none  另外，如果写成如下，也不行  但是如果将resize的大小限定死，是可以的，这和网上大部分网页上是一致的  所以问问各位大神，这是为什么啊，为什么不能随机resize一张图啊。

看到openai可以玩DOTA了，自己也想写一个AI玩网游，但是鼠标控制有问题_course

看到openai可以玩DOTA了，自己也想写一个AI玩网游，但是鼠标控制有问题，按键和鼠标左右键都可以输入神经网络，本来以为 这部分写完了，后来才发现，没有鼠标移动，一个鼠标函数输入进神经网络需要返回鼠标坐标X和Y，这是怎么实现的？网上也没有找到教程 openai是怎么控制鼠标的呀？这个要怎么实现呢？希望各位大佬给我一些建议，或者讨论一下，谢谢~

python有没有那个版本可以同时使用karas、tensorflow、sklearn?_course

最近在使用python研究LSTM，结果出现了各种库的问题，使用pycharm的时候，明明已经装上了sklearn，但就是出现找不到库文件的提示，再在anaconda配置好了环境，也同时安装了sklearn库，同时也可以在IDLE使用import sklearn语句，结果放到pycharm中还是不能使用，感觉python搞这么多版本真的仍让人头疼，一个环境配置都把人搞头大了

深度学习中训练集和验证集拟合很好，但是实际预测中远不如验证效果？_course

前提： 1、使用的预测图就是训练集中的图而非新图，所以是否应该排除泛化不够的问题？ 2、环境python+bisenet 3、预测数据远不如验证集体现在预测图像比验证图像多出很多杂色斑点，ran'er同样的一张图再验证集中的预测就很干净。