我用keras构建了一个[7,200,200,200,200,1]的前向神经网络做回归，7个输入变量，1个输出变量。9000组训练样本，1072组测试样本。训练样本拟合相关系数达到0.98-0.99，测试样本相关系数为0.3-0.4,。后来，我加上dropout,l2正则化，训练样本相关系数降到0.5左右了，测试样本R才升到0.5 这究竟怎么回事？实在没办法了，求帮助啊

请教一下，我自己写了个resnet，18层跑的结果也只有72%，换成34层了之后，测试集却只有63%了 我拿我自己的4层的简单的CNN都能跑出来75的效果，有什么可以提高的方法吗？那些高准确率，实际上是不是做过数据增强了的啊

 我想从一个预训练的卷积神经网络的不同层中提取特征，然后把这些不同层的特征拼接在一起，实现如上图一样的网络结构，我写的代码如下 ``` base_model = VGGFace(model='resnet50', include_top=False) model1 = base_model model2 = base_model input1 = Input(shape=(197,197,3)) model1_out = model1.layers[-12].output model1_in = model1.layers[0].output model1 = Model(model1_in,model1_out) x1 = model1(input1) x1 = GlobalMaxPool2D()(x1) x2 = model2(input1) x2 = GlobalMaxPool2D()(x2) out = Concatenate(axis=-1)([x1,x2]) out = Dense(1,activation='sigmoid')(out) model3 = Model([input1,input2],out) from keras.utils import plot_model plot_model(model3,"model3.png") import matplotlib.pyplot as plt img = plt.imread('model3.png') plt.imshow(img) ``` 但模型可视化显示如下，两个网络的权值并不共享。

用下面这样的代码测试的时候result都是固定值 之前都是用model.add这样来写结构的 不知道是不是结构写法的问题，model.add这样就没问题 ``` x = load_img(file, target_size=(img_width,img_height)) x = img_to_array(x) x = np.expand_dims(x, axis=0) array = model.predict(x) result = array[0] ``` training.py: ``` # coding=utf-8 from keras.models import Model from keras.layers import Input, Dense, Dropout, BatchNormalization, Conv2D, MaxPooling2D, AveragePooling2D, concatenate, \ Activation, ZeroPadding2D from keras.layers import add, Flatten from keras.utils import plot_model from keras.metrics import top_k_categorical_accuracy from keras.preprocessing.image import ImageDataGenerator from keras.models import load_model from keras import optimizers import os import sys import tensorflow as tf from keras import callbacks config = tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True)) sess = tf.Session(config=config) DEV = False argvs = sys.argv argc = len(argvs) if argc > 1 and (argvs[1] == "--development" or argvs[1] == "-d"): DEV = True if DEV: EPOCH=4 else: EPOCH=1 # Global Constants samples_per_epoch = 3750 validation_steps = 490 NB_CLASS=5 IM_WIDTH=100 IM_HEIGHT=100 train_root='data/train' vaildation_root='data/test' batch_size=16 lr=0.0004 # train data train_datagen = ImageDataGenerator( width_shift_range=0.1, height_shift_range=0.1, shear_range=0.1, zoom_range=0.1, horizontal_flip=True, rescale=1./255 ) train_generator = train_datagen.flow_from_directory( train_root, target_size=(IM_WIDTH, IM_HEIGHT), batch_size=batch_size, shuffle=True ) # vaild data vaild_datagen = ImageDataGenerator( width_shift_range=0.1, height_shift_range=0.1, shear_range=0.1, zoom_range=0.1, horizontal_flip=True, rescale=1./255 ) vaild_generator = train_datagen.flow_from_directory( vaildation_root, target_size=(IM_WIDTH, IM_HEIGHT), batch_size=batch_size, ) def Conv2d_BN(x, nb_filter, kernel_size, strides=(1, 1), padding='same', name=None): if name is not None: bn_name = name + '_bn' conv_name = name + '_conv' else: bn_name = None conv_name = None x = Conv2D(nb_filter, kernel_size, padding=padding, strides=strides, activation='relu', name=conv_name)(x) x = BatchNormalization(axis=3, name=bn_name)(x) return x def identity_Block(inpt, nb_filter, kernel_size, strides=(1, 1), with_conv_shortcut=False): x = Conv2d_BN(inpt, nb_filter=nb_filter, kernel_size=kernel_size, strides=strides, padding='same') x = Conv2d_BN(x, nb_filter=nb_filter, kernel_size=kernel_size, padding='same') if with_conv_shortcut:#shortcut的含义是：将输入层x与最后的输出层y进行连接，如上图所示 shortcut = Conv2d_BN(inpt, nb_filter=nb_filter, strides=strides, kernel_size=kernel_size) x = add([x, shortcut]) return x else: x = add([x, inpt]) return x def resnet_34(width,height,channel,classes): inpt = Input(shape=(width, height, channel)) x = ZeroPadding2D((3, 3))(inpt) #conv1 x = Conv2d_BN(x, nb_filter=64, kernel_size=(7, 7), strides=(2, 2), padding='valid') x = MaxPooling2D(pool_size=(3, 3), strides=(2, 2), padding='same')(x) #conv2_x x = identity_Block(x, nb_filter=64, kernel_size=(3, 3)) x = identity_Block(x, nb_filter=64, kernel_size=(3, 3)) x = identity_Block(x, nb_filter=64, kernel_size=(3, 3)) #conv3_x x = identity_Block(x, nb_filter=128, kernel_size=(3, 3), strides=(2, 2), with_conv_shortcut=True) x = identity_Block(x, nb_filter=128, kernel_size=(3, 3)) x = identity_Block(x, nb_filter=128, kernel_size=(3, 3)) x = identity_Block(x, nb_filter=128, kernel_size=(3, 3)) #conv4_x x = identity_Block(x, nb_filter=256, kernel_size=(3, 3), strides=(2, 2), with_conv_shortcut=True) x = identity_Block(x, nb_filter=256, kernel_size=(3, 3)) x = identity_Block(x, nb_filter=256, kernel_size=(3, 3)) x = identity_Block(x, nb_filter=256, kernel_size=(3, 3)) x = identity_Block(x, nb_filter=256, kernel_size=(3, 3)) x = identity_Block(x, nb_filter=256, kernel_size=(3, 3)) #conv5_x x = identity_Block(x, nb_filter=512, kernel_size=(3, 3), strides=(2, 2), with_conv_shortcut=True) x = identity_Block(x, nb_filter=512, kernel_size=(3, 3)) x = identity_Block(x, nb_filter=512, kernel_size=(3, 3)) x = AveragePooling2D(pool_size=(4, 4))(x) x = Flatten()(x) x = Dense(classes, activation='softmax')(x) model = Model(inputs=inpt, outputs=x) return model if __name__ == '__main__': if (os.path.exists('modelresnet') and DEV): model = load_model('./modelresnet/resnet_50.h5')######## model.load_weights('./modelresnet/weights.h5') else: model = resnet_34(IM_WIDTH,IM_HEIGHT,3,NB_CLASS) model.compile(loss='categorical_crossentropy', optimizer=optimizers.RMSprop(lr=lr), metrics=['accuracy']) print ('Model Compiled') model.fit_generator( train_generator, samples_per_epoch=samples_per_epoch, epochs=EPOCH, validation_data=vaild_generator, validation_steps=validation_steps) target_dir = './modelresnet/' if not os.path.exists(target_dir): os.mkdir(target_dir) model.save('./modelresnet/resnet_50.h5') model.save_weights('./modelresnet/weights.h5') #loss,acc,top_acc=model.evaluate_generator(test_generator, steps=test_generator.n / batch_size) #print 'Test result:loss:%f,acc:%f,top_acc:%f' % (loss, acc, top_acc) ```

各位大神好，我是小白，看了一些关于过拟合正则化的文章，文章都说正则化项是加在目标函数/损失函数上的，但我看keras的文档上，正则化都是加在层上的，我不是很理解，难到不能加在损失函数上吗。其次正则化的参数 lamda值要是过拟合的话大致通常设置多少比较好，或者你们都拿多少开始试的。谢谢各位大神。

做的8推1的时序预测，但是不管怎么修改模型，一直都是过拟合的状态，loss下降 val loss上升，val loss一点下降趋势也没有，直接往上走， 已经用了dropout(0.5)也试过用BatchNormalization()，但都没办法完全改善 想知道到底问题出在哪里 训练集和测试集（x，y）大小是(80000, 10, 8) (25000, 10, 8) (80000,) (25000,) ``` #数据整理 train = values[0:timestep*num] valid =values[timestep*num:] time_stamp = 10 scaled_data = scaler.fit_transform(train) x_train, y_train = [], [] for i in range(time_stamp, len(train)): x_train.append(scaled_data[i - time_stamp:i,0:8]) y_train.append(scaled_data[i, 8]) # y_train.append(scaled_data[i - time_stamp, 8]) # y_train.append(scaled_data[i - time_stamp:i, 8]) x_train, y_train = np.array(x_train), np.array(y_train) scaled_data = scaler.fit_transform(valid) x_valid, y_valid = [], [] for i in range(time_stamp, len(valid)): x_valid.append(scaled_data[i - time_stamp:i,0:8]) y_valid.append(scaled_data[i, 8]) # y_valid.append(scaled_data[i - time_stamp, 8]) # y_valid.append(scaled_data[i - time_stamp:i, 8]) x_valid, y_valid = np.array(x_valid), np.array(y_valid) print(x_train.shape,x_valid.shape, y_train.shape, y_valid.shape) #lstm模型 epochs = 60 batch_size = 256 model = Sequential() model.add(LSTM(units=128, return_sequences=True, input_dim=x_train.shape[-1], input_length=x_train.shape[1])) model.add(Dropout(0.5)) model.add(LSTM(units=64)) model.add(Dropout(0.5)) model.add(Dense(1)) model.compile(loss='mean_squared_error', optimizer='rmsprop') history =model.fit(x_train, y_train, epochs=epochs, batch_size=batch_size,validation_data=(x_valid,y_valid), verbose=2) ```  上图中蓝色为loss曲线，黄色为val loss

 各位大神，如图所示，在训练过程中，第二轮开始出现问题，这是什么原因呢？ 代码如下： ------------------------------------------------- ``` import random import keras import numpy as np import cv2 from sklearn.model_selection import train_test_split from keras.preprocessing.image import ImageDataGenerator from keras.models import Sequential from keras.layers import Dense, Dropout, Activation, Flatten from keras.layers import Convolution2D, MaxPooling2D from keras.optimizers import SGD from keras.utils import np_utils from keras.models import load_model from keras import backend as K from source_data import load_dataset,resize_img #定义数据集格式 class Dataset: def __init__(self, path_name): #训练数据集 self.train_images = None self.train_labels = None #测试集 self.valid_images = None self.valid_labels = None #样本数据 self.test_images = None self.test_labels = None #load路径 self.path_name = path_name #维度顺序 self.input_shape = None #加载数据集并按照交叉验证的原则划分数据集，完成数据预处理 def load(self,img_rows=64, img_cols=64,img_channels = 3,nb_classes = 2): #加载数据集到内存 images,labels=load_dataset(self.path_name)#函数调用 train_images, valid_images, train_labels, valid_labels= train_test_split(images, labels, test_size = 0.3, random_state = random.randint(0, 100)) _, test_images, _, test_labels = train_test_split(images, labels, test_size = 0.5, random_state = random.randint(0, 100)) #根据backend类型确定输入图片数据时的顺序为：channels,rows,cols，否则:rows,cols,channels #这部分代码就是根据keras库要求的维度顺序重组训练数据集 train_images = train_images.reshape(train_images.shape[0], img_rows, img_cols, img_channels) valid_images = valid_images.reshape(valid_images.shape[0], img_rows, img_cols, img_channels) test_images = test_images.reshape(test_images.shape[0], img_rows, img_cols, img_channels) self.input_shape = (img_rows, img_cols, img_channels) #输出训练集、验证集、测试集的数量 print(train_images.shape[0], 'train samples') print(valid_images.shape[0], 'valid samples') print(test_images.shape[0], 'test samples') #我们的模型使用categorical_crossentropy作为损失函数，因此需要根据类别数量nb_classes将 #类别标签进行one-hot编码使其向量化，在这里我们的类别只有两种，经过转化后标签数据变为二维 train_labels = np_utils.to_categorical(train_labels, nb_classes) valid_labels = np_utils.to_categorical(valid_labels, nb_classes) test_labels = np_utils.to_categorical(test_labels, nb_classes) #像素数据浮点化以便归一化 train_images = train_images.astype('float32') valid_images = valid_images.astype('float32') test_images = test_images.astype('float32') #将其归一化,图像的各像素值归一化到0—1区间 train_images /= 255 valid_images /= 255 test_images /= 255 self.train_images = train_images self.valid_images = valid_images self.test_images = test_images self.train_labels = train_labels self.valid_labels = valid_labels self.test_labels = test_labels class Model: def __init__(self): self.model = None #建立keras模型 def build_model(self, dataset, nb_classes = 2): #构建一个空的网络模型，序贯模型或线性堆叠模型，添加各个layer self.model = Sequential() #以下代码将顺序添加CNN网络需要的各层，一个add就是一个网络层 self.model.add(Convolution2D(32, 3, 3, border_mode='same', input_shape = dataset.input_shape)) #1 2维卷积层 self.model.add(Activation('relu')) #2 激活函数层 self.model.add(Convolution2D(32, 3, 3)) #3 2维卷积层 self.model.add(Activation('relu')) #4 激活函数层 self.model.add(MaxPooling2D(pool_size=(2, 2))) #5 池化层 self.model.add(Dropout(0.25)) #6 Dropout层 self.model.add(Convolution2D(64, 3, 3, border_mode='same')) #7 2维卷积层 self.model.add(Activation('relu')) #8 激活函数层 self.model.add(Convolution2D(64, 3, 3)) #9 2维卷积层 self.model.add(Activation('relu')) #10 激活函数层 self.model.add(MaxPooling2D(pool_size=(2, 2))) #11 池化层 self.model.add(Dropout(0.25)) #12 Dropout层 self.model.add(Flatten()) #13 Flatten层 self.model.add(Dense(512)) #14 Dense层,又被称作全连接层 self.model.add(Activation('relu')) #15 激活函数层 self.model.add(Dropout(0.5)) #16 Dropout层 self.model.add(Dense(nb_classes)) #17 Dense层 self.model.add(Activation('softmax')) #18 分类层，输出最终结果 #Prints a string summary of the network self.model.summary() #训练模型 def train(self, dataset, batch_size = 20, nb_epoch = 10, data_augmentation = True): sgd = SGD(lr = 0.01, decay = 1e-6, momentum = 0.9, nesterov = True) #采用随机梯度下降优化器进行训练，首先生成一个优化器对象 self.model.compile(loss='categorical_crossentropy', optimizer=sgd,metrics=['accuracy']) #完成实际的模型配置 #不使用数据提升，所谓的提升就是从我们提供的训练数据中利用旋转、翻转、加噪声等方法提升训练数据规模，增加模型训练量 if not data_augmentation: self.model.fit(dataset.train_images, dataset.train_labels, batch_size = batch_size, epochs = nb_epoch, validation_data = (dataset.valid_images, dataset.valid_labels), shuffle = True) #使用实时数据提升 else: #定义数据生成器用于数据提升，其返回一个生成器对象datagen，datagen每被调用一 #次其生成一组数据（顺序生成），节省内存，其实就是python的数据生成器 datagen = ImageDataGenerator( featurewise_center = False, #是否使输入数据去中心化（均值为0）， samplewise_center = False, #是否使输入数据的每个样本均值为0 featurewise_std_normalization = False, #是否数据标准化（输入数据除以数据集的标准差） samplewise_std_normalization = False, #是否将每个样本数据除以自身的标准差 zca_whitening = False, #是否对输入数据施以ZCA白化 rotation_range = 20, #数据提升时图片随机转动的角度(范围为0～180) width_shift_range = 0.2, #数据提升时图片水平偏移的幅度（单位为图片宽度的占比，0~1之间的浮点数） height_shift_range = 0.2, #同上，只不过这里是垂直 horizontal_flip = True, #是否进行随机水平翻转 vertical_flip = False) #是否进行随机垂直翻转 #计算整个训练样本集的数量以用于特征值归一化等处理 datagen.fit(dataset.train_images) #利用生成器开始训练模型—0.7*N self.model.fit_generator(datagen.flow(dataset.train_images, dataset.train_labels, batch_size = batch_size), steps_per_epoch = dataset.train_images.shape[0], epochs = nb_epoch, validation_data = (dataset.valid_images, dataset.valid_labels)) if __name__ == '__main__': dataset = Dataset('e:\saving') dataset.load()#实例操作，完成实际数据加载和预处理 model = Model() model.build_model(dataset) #训练数据 model.train(dataset) ```

``` ddef SKConv(input, M, r, L=32, stride=1, is_training=True): input_feature = input.get_shape().as_list()[3] d = max(int(input_feature / r), L) net = input with slim.arg_scope([slim.conv2d, slim.fully_connected], activation_fn=tf.nn.relu): for i in range(M): net = slim.conv2d(net, input_feature, [3+i*2, 3+i*2], rate=1+i, stride=stride) net = slim.batch_norm(net, decay=0.9, center=True, scale=True, epsilon=1e-5, updates_collections=tf.GraphKeys.UPDATE_OPS, is_training=is_training) net = tf.nn.relu(net) if i == 0: fea_U = net else: fea_U = tf.add(fea_U, net) gap = tflearn.global_avg_pool(fea_U) fc = slim.fully_connected(gap, d, activation_fn=None) fcs = fc for _ in range(M): fcs = slim.fully_connected(fcs, input_feature, activation_fn=None) if _ == 0: att_vec = fcs else: att_vec = tf.add(att_vec, fcs) att_vec = tf.expand_dims(att_vec, axis=1) att_vec = tf.expand_dims(att_vec, axis=1) att_vec_softmax = tf.nn.softmax(att_vec) fea_v = tf.multiply(fea_U, att_vec_softmax) return fea_v ``` 这是tensroflow版本的，在keras上运行会报错“'tuple' object has no attribute 'layer'”，有没有人可以改写一下或者有其他keras实现的版本？

还没入门的新手，看了一些论文，都用resnet50和VGG16训练网络模型，然而结论不同，有的是VGG16精度高，有的是Resnet50精度高。自己做训练集，用两种网络去训练模型时结果显示VGG16精度更高，用的是Keras retinanet。按说resnet50网络更深，且解决了梯度爆炸的问题，为什么mAP不如VGG16？求大神告知。。。 并且，Keras retinanet和fast r-cnn、faster r-cnn或者YOLO2等检测网络是什么关系？。。。

``` 2019-11-27 02:18:29 UTC [MainThread ] - /home/mind/app.py[line:121] - INFO: args: Namespace(model_name='serve', model_path='/home/mind/model/1', service_file='/home/mind/model/1/customize_service.py', tf_server_name='127.0.0.1') 2019-11-27 02:18:36.823910: I tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 AVX512F FMA Using TensorFlow backend. [2019-11-27 02:18:37 +0000] [68] [ERROR] Exception in worker process Traceback (most recent call last): File "/usr/local/lib/python3.6/site-packages/gunicorn/arbiter.py", line 583, in spawn_worker worker.init_process() File "/usr/local/lib/python3.6/site-packages/gunicorn/workers/base.py", line 129, in init_process self.load_wsgi() File "/usr/local/lib/python3.6/site-packages/gunicorn/workers/base.py", line 138, in load_wsgi self.wsgi = self.app.wsgi() File "/usr/local/lib/python3.6/site-packages/gunicorn/app/base.py", line 67, in wsgi self.callable = self.load() File "/usr/local/lib/python3.6/site-packages/gunicorn/app/wsgiapp.py", line 52, in load return self.load_wsgiapp() File "/usr/local/lib/python3.6/site-packages/gunicorn/app/wsgiapp.py", line 41, in load_wsgiapp return util.import_app(self.app_uri) File "/usr/local/lib/python3.6/site-packages/gunicorn/util.py", line 350, in import_app __import__(module) File "/home/mind/app.py", line 145, in model_service = class_defs[0](model_name, model_path) File "/home/mind/model/1/customize_service.py", line 39, in __init__ meta_graph_def = tf.saved_model.loader.load(self.sess, [tag_constants.SERVING], self.model_path) File "/usr/local/lib/python3.6/site-packages/tensorflow/python/saved_model/loader_impl.py", line 219, in load saver = tf_saver.import_meta_graph(meta_graph_def_to_load, **saver_kwargs) File "/usr/local/lib/python3.6/site-packages/tensorflow/python/training/saver.py", line 1955, in import_meta_graph **kwargs) File "/usr/local/lib/python3.6/site-packages/tensorflow/python/framework/meta_graph.py", line 743, in import_scoped_meta_graph producer_op_list=producer_op_list) File "/usr/local/lib/python3.6/site-packages/tensorflow/python/util/deprecation.py", line 432, in new_func return func(*args, **kwargs) File "/usr/local/lib/python3.6/site-packages/tensorflow/python/framework/importer.py", line 460, in import_graph_def _RemoveDefaultAttrs(op_dict, producer_op_list, graph_def) File "/usr/local/lib/python3.6/site-packages/tensorflow/python/framework/importer.py", line 227, in _RemoveDefaultAttrs op_def = op_dict[node.op] KeyError: 'DivNoNan' ```

刚刚开始学习keras，今天在测试非线性函数拟合的时候发现即便用了‘relu’激活函数还是没有办法很好的拟合结果，这已经困扰我很久了，而且更奇怪的是有一句看起来和结果毫无关系的语句居然会直接改变结果的分布 就是这一句： ``` print(y_pred) ``` 没有加的时候的结果：  加了之后的结果：  或者  代码如下： ``` import keras import numpy as np import matplotlib.pyplot as plt #按顺序构成的模型 from keras.models import Sequential #全连接层 from keras.layers import Dense,Activation from keras.optimizers import SGD #使用numpy生成随机数据 x_data = np.linspace(-0.5,0.5,200) noise = np.random.normal(0,0.02,x_data.shape) y_data = np.square(x_data) + noise #显示随机点 plt.scatter(x_data,y_data) plt.show() # 构建一个顺序模型 model = Sequential() # 在模型中添加一个全连接层 model.add(Dense(units=10,input_dim=1,activation='relu')) # model.add(Activation("relu"))不行? #model.add(Activation("relu")) model.add(Dense(units=1,activation='relu')) # model.add(Activation("relu"))不行 #model.add(Activation("relu")) # 定义优化算法 sgd = SGD(lr=0.3) model.compile(optimizer=sgd,loss="mse") for step in range(3000): cost = model.train_on_batch(x_data,y_data) if step%500==0: print("cost: ",cost) W,b = model.layers[0].get_weights() print("W: ",W,"b: ",b) # x_data输入网络中，得到预测值 y_pred = model.predict(x_data) # 加不加这一句会对结果造成直接影响 print(y_pred) plt.scatter(x_data,y_pred) plt.plot(x_data,y_pred,"r-",lw=3) plt.show() ```

急急急！使用keras训练BiLSTM时，经过几个epoch后，loss增大，acc降低是什么原因？

如题，不知GRNN能否通过Keras实现。。或通过tensorflow实现也行，最好是有源代码，感谢大神回答

keras搭的模型，训练时候，使用相同的loss和metrics，但是输出却不一样，为什么会出现这种情况呀

在SRGAN当中，如果要对单通道的灰度图进行训练可以将输入层的尺寸改为（: ,: ,1），但是此时网络中使用的VGG19的 输入仍然为RGB三通道的图像，因此会报错。 VGG网络能否用于SRGAN对灰度图像的训练中？如果可以因当如何修改？ 使用VGG19的代码如下： ``` def build_vgg(self): ``` vgg=VGG19(weights='imagenet') vgg.outputs = [vgg.layers[9].output] img = Input(shape=self.hr_shape) img_features = vgg(img) return Model(img, img_features)

已经训练好的model，比如想在后面再添加lstm或者全连接层应该怎么做呢？

我在训练模型的过程中，训练集表现很好，loss很低，acc很高。但测试的时候测试集的loss一直在降低，但acc反而也降低了，没有提高，这是过拟合了么？

``` import warnings warnings.filterwarnings('ignore') import math import tensorflow as tf import numpy as np import matplotlib.pyplot as plt import types import pylab def draw_correct_line(): x = np.arange(0, 2 * np.pi, 0.01) x = x.reshape((len(x), 1)) y = np.sin(x) pylab.plot(x, y, label = '标准sin曲线') plt.axhline(linewidth = 1, color = 'r') def get_train_data(): train_x = np.random.uniform(0.0, 2 * np.pi, (1)) train_y = np.sin(train_x) return train_x, train_y def inference(intput_data): with tf.variable_scope('hidden1'): weights = tf.get_variable("weight", [1,16], tf.float32, initializer=tf.random_normal_initializer(0.0, 1)) biases = tf.get_variable("bias", [1,16], tf.float32, initializer=tf.random_normal_initializer(0,0, 1)) hidden1 = tf.sigmoid(tf.multiply(input_data, weights) + biases) with tf.variable_scope('hidden2'): weights = tf.get_variable("weight", [16,16], tf.float32, initializer=tf.random_normal_initializer(0.0, 1)) biases = tf.get_variable("bias", [16], tf.float32, initializer=tf.random_normal_initializer(0.0, 1)) mul = tf.matmul(hidden1, weights) hidden2 = tf.sigmoid(mul + biases) with tf.variable_scope('hidden3'): weights = tf.get_variable("weight", [16,16], tf.float32, initializer=tf.random_normal_initializer(0.0, 1)) biases = tf.get_variable("bias", [16], tf.float32, initializer=tf.random_normal_initializer(0.0, 1)) hidden3 = tf.sigmoid(tf.matmul(hidden2, weights) + biases) with tf.variable_scope('output_layer'): weights = tf.get_variable("weight", [16,1], tf.float32, initializer=tf.random_normal_initializer(0.0, 1)) biases = tf.get_variable("bias", [1], tf.float32, initializer=tf.random_normal_initializer(0.0, 1)) output = tf.matmul(hidden3, weight) + biases return output def train(): learning_rate = 0.01 x = tf.placeholder(tf.float32) y = tf.placeholder(tf.float32) net_out = inference(x) loss_op = tf.square(net_out - y) opt = tf.train.GradientDescentOptimizer(learning_rate) train_op = opt.minimize(loss_op) init = tf.global_variables_initializer() with tf.Session() as sess: sess.run(init) print("start training....") for i in range(1000000): train_x, train_y = get_train_data() sess.run(train_op, feed_dict={x:train_x, y:train_y}) if i%10000 == 0: times = int(i/10000) test_x_ndarray = np.arange(0, 2 * np.pi, 0.01) test_y_ndarray = np.zeros([len(test_x_ndarray)]) ind = 0 for test_x in test_x_ndarray: test_y = sess.run(net_out, feed_dict={x:test_x, y:1}) np.put(test_y_ndarray, ind, test_y) ind += 1 draw_correct_line() pylab.plot(test_x_ndarray, test_y_ndarray, '--', label = str(times) + 'times') pylab.show() if _name_ == "_main_": train() ```

**cifar-10分类问题，同样的模型结构以及损失函数还有学习率参数等超参数，分别用TensorFlow和keras实现。 20个epochs后在测试集上进行预测，准确率总是差好几个百分点，不知道问题出在哪里？代码如下： 这个是TF的代码：** import tensorflow as tf import numpy as np import pickle as pk tf.reset_default_graph() batch_size = 64 test_size = 10000 img_size = 32 num_classes = 10 training_epochs = 10 test_size=200 ############################################################################### def unpickle(filename): '''解压数据''' with open(filename, 'rb') as f: d = pk.load(f, encoding='latin1') return d def onehot(labels): '''one-hot 编码''' n_sample = len(labels) n_class = max(labels) + 1 onehot_labels = np.zeros((n_sample, n_class)) onehot_labels[np.arange(n_sample), labels] = 1 return onehot_labels # 训练数据集 data1 = unpickle('data_batch_1') data2 = unpickle('data_batch_2') data3 = unpickle('data_batch_3') data4 = unpickle('data_batch_4') data5 = unpickle('data_batch_5') X_train = np.concatenate((data1['data'], data2['data'], data3['data'], data4['data'], data5['data']), axis=0)/255.0 y_train = np.concatenate((data1['labels'], data2['labels'], data3['labels'], data4['labels'], data5['labels']), axis=0) y_train = onehot(y_train) # 测试数据集 test = unpickle('test_batch') X_test = test['data']/255.0 y_test = onehot(test['labels']) del test,data1,data2,data3,data4,data5 ############################################################################### w = tf.Variable(tf.random_normal([5, 5, 3, 32], stddev=0.01)) w_c= tf.Variable(tf.random_normal([32* 16* 16, 512], stddev=0.1)) w_o =tf.Variable(tf.random_normal([512, num_classes], stddev=0.1)) def init_bias(shape): return tf.Variable(tf.constant(0.0, shape=shape)) b=init_bias([32]) b_c=init_bias([512]) b_o=init_bias([10]) def model(X, w, w_c,w_o, p_keep_conv, p_keep_hidden,b,b_c,b_o): conv1 = tf.nn.conv2d(X, w,strides=[1, 1, 1, 1],padding='SAME')#32x32x32 conv1=tf.nn.bias_add(conv1,b) conv1 = tf.nn.relu(conv1) conv1 = tf.nn.max_pool(conv1, ksize=[1, 2, 2, 1],strides=[1, 2, 2, 1],padding='SAME')#16x16x32 conv1 = tf.nn.dropout(conv1, p_keep_conv) FC_layer = tf.reshape(conv1, [-1, 32 * 16 * 16]) out_layer=tf.matmul(FC_layer, w_c)+b_c out_layer=tf.nn.relu(out_layer) out_layer = tf.nn.dropout(out_layer, p_keep_hidden) result = tf.matmul(out_layer, w_o)+b_o return result trX, trY, teX, teY = X_train,y_train,X_test,y_test trX = trX.reshape(-1, img_size, img_size, 3) teX = teX.reshape(-1, img_size, img_size, 3) X = tf.placeholder("float", [None, img_size, img_size, 3]) Y = tf.placeholder("float", [None, num_classes]) p_keep_conv = tf.placeholder("float") p_keep_hidden = tf.placeholder("float") py_x = model(X, w, w_c,w_o, p_keep_conv, p_keep_hidden,b,b_c,b_o) Y_ = tf.nn.softmax_cross_entropy_with_logits_v2(logits=py_x, labels=Y) cost = tf.reduce_mean(Y_) optimizer = tf.train.RMSPropOptimizer(0.001, 0.9).minimize(cost) predict_op = tf.argmax(py_x, 1) with tf.Session() as sess: tf.global_variables_initializer().run() for i in range(training_epochs): training_batch = zip(range(0, len(trX),batch_size),range(batch_size, len(trX)+1,batch_size)) perm=np.arange(len(trX)) np.random.shuffle(perm) trX=trX[perm] trY=trY[perm] for start, end in training_batch: sess.run(optimizer, feed_dict={X: trX[start:end],Y: trY[start:end],p_keep_conv:0.75,p_keep_hidden: 0.5}) test_batch = zip(range(0, len(teX),test_size),range(test_size, len(teX)+1,test_size)) accuracyResult=0 for start, end in test_batch: accuracyResult=accuracyResult+sum(np.argmax(teY[start:end], axis=1) ==sess.run(predict_op, feed_dict={X: teX[start:end],Y: teY[start:end],p_keep_conv: 1,p_keep_hidden: 1})) print(i, accuracyResult/10000) **这个是keras代码：** from keras import initializers from keras.datasets import cifar10 from keras.utils import np_utils from keras.models import Sequential from keras.layers.core import Dense, Dropout, Activation, Flatten from keras.layers.convolutional import Conv2D, MaxPooling2D from keras.optimizers import SGD, Adam, RMSprop #import matplotlib.pyplot as plt # CIFAR_10 is a set of 60K images 32x32 pixels on 3 channels IMG_CHANNELS = 3 IMG_ROWS = 32 IMG_COLS = 32 #constant BATCH_SIZE = 64 NB_EPOCH = 10 NB_CLASSES = 10 VERBOSE = 1 VALIDATION_SPLIT = 0 OPTIM = RMSprop() #load dataset (X_train, y_train), (X_test, y_test) = cifar10.load_data() #print('X_train shape:', X_train.shape) #print(X_train.shape[0], 'train samples') #print(X_test.shape[0], 'test samples') # convert to categorical Y_train = np_utils.to_categorical(y_train, NB_CLASSES) Y_test = np_utils.to_categorical(y_test, NB_CLASSES) # float and normalization X_train = X_train.astype('float32') X_test = X_test.astype('float32') X_train /= 255 X_test /= 255 # network model = Sequential() model.add(Conv2D(32, (3, 3), padding='same',input_shape=(IMG_ROWS, IMG_COLS, IMG_CHANNELS),kernel_initializer=initializers.random_normal(stddev=0.01),bias_initializer=initializers.Zeros())) model.add(Activation('relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.25)) #0<参数<1才会有用 model.add(Flatten()) model.add(Dense(512,kernel_initializer=initializers.random_normal(stddev=0.1),bias_initializer=initializers.Zeros())) model.add(Activation('relu')) model.add(Dropout(0.5)) model.add(Dense(NB_CLASSES,kernel_initializer=initializers.random_normal(stddev=0.1),bias_initializer=initializers.Zeros())) model.add(Activation('softmax')) model.summary() # train model.compile(loss='categorical_crossentropy', optimizer=OPTIM,metrics=['accuracy']) model.fit(X_train, Y_train, batch_size=BATCH_SIZE,epochs=NB_EPOCH, validation_split=VALIDATION_SPLIT,verbose=VERBOSE) score = model.evaluate(X_test, Y_test,batch_size=200, verbose=VERBOSE) print("Test score:", score[0]) print('Test accuracy:', score[1])

话不多说直接开干 目录 1-先去官网下载点击的MySQL的下载​ 2-配置初始化的my.ini文件的文件 3-初始化MySQL 4-安装MySQL服务 + 启动MySQL 服务 5-连接MySQL + 修改密码 先去官网下载点击的MySQL的下载 下载完成后解压 解压完是这个样子 配置初始化的my.ini文件的文件 ...

Python+OpenCV计算机视觉系统全面的介绍。

基于新的Vue.js 2.3版本， 目前新全的Vue.js教学视频，让你少走弯路，直达技术前沿！ 1. 包含Vue.js全家桶（vue.js、vue-router、axios、vuex、vue-cli、webpack、ElementUI等） 2. 采用笔记+代码案例的形式讲解，通俗易懂

navicat支持mysql的可视化操作，内涵激活码，不用再忍受弹框的痛苦。

这是我自己做的HTML期末大作业，花了很多时间，稍加修改就可以作为自己的作业了，而且也可以作为学习参考

【为什么学爬虫？】 &nbsp; &nbsp; &nbsp; &nbsp;1、爬虫入手容易，但是深入较难，如何写出高效率的爬虫，如何写出灵活性高可扩展的爬虫都是一项技术活。另外在爬虫过程中，经常容易遇到被反爬虫，比如字体反爬、IP识别、验证码等，如何层层攻克难点拿到想要的数据，这门课程，你都能学到！ &nbsp; &nbsp; &nbsp; &nbsp;2、如果是作为一个其他行业的开发者，比如app开发，web开发，学习爬虫能让你加强对技术的认知，能够开发出更加安全的软件和网站 【课程设计】 一个完整的爬虫程序，无论大小，总体来说可以分成三个步骤，分别是： 网络请求：模拟浏览器的行为从网上抓取数据。 数据解析：将请求下来的数据进行过滤，提取我们想要的数据。 数据存储：将提取到的数据存储到硬盘或者内存中。比如用mysql数据库或者redis等。 那么本课程也是按照这几个步骤循序渐进的进行讲解，带领学生完整的掌握每个步骤的技术。另外，因为爬虫的多样性，在爬取的过程中可能会发生被反爬、效率低下等。因此我们又增加了两个章节用来提高爬虫程序的灵活性，分别是： 爬虫进阶：包括IP代理，多线程爬虫，图形验证码识别、JS加密解密、动态网页爬虫、字体反爬识别等。 Scrapy和分布式爬虫：Scrapy框架、Scrapy-redis组件、分布式爬虫等。 通过爬虫进阶的知识点我们能应付大量的反爬网站，而Scrapy框架作为一个专业的爬虫框架，使用他可以快速提高我们编写爬虫程序的效率和速度。另外如果一台机器不能满足你的需求，我们可以用分布式爬虫让多台机器帮助你快速爬取数据。 &nbsp; 从基础爬虫到商业化应用爬虫，本套课程满足您的所有需求！ 【课程服务】 专属付费社群+每周三讨论会+1v1答疑

从事大数据与人工智能开发与实践约十年，钱老师亲自见证了大数据行业的发展与人工智能的从冷到热。事实证明，计算机技术的发展，算力突破，海量数据，机器人技术等，开启了第四次工业革命的序章。深度学习图像分类一直是人工智能的经典任务，是智慧零售、安防、无人驾驶等机器视觉应用领域的核心技术之一，掌握图像分类技术是机器视觉学习的重中之重。针对现有线上学习的特点与实际需求，我们开发了人工智能案例实战系列课程。打造：以项目案例实践为驱动的课程学习方式，覆盖了智能零售，智慧交通等常见领域，通过基础学习、项目案例实践、社群答疑，三维立体的方式，打造最好的学习效果。

时钟功能 还有闹钟功能，温湿度功能，整点报时功能 你值得拥有

做的是数据库课程设计，使用的php + MySQL，本来是黄金搭配也就没啥说的，推荐使用wamp服务器，里面有详细的使用说明，带有界面的啊！呵呵 不行的话，可以给我留言！

最近面试了一个31岁8年经验的程序猿，让我有点感慨，大龄程序猿该何去何从。

获取讲师答疑方式： 在付费视频第一节(触摸命令_ALL)片头有二维码及加群流程介绍 限时福利 原价99元，今日仅需39元！购课添加小助手（微信号：itxy41）按提示还可领取价值800元的编程大礼包！ 讲师介绍： 苏奕嘉&nbsp;前阿里UC项目工程师 脚本开发平台官方认证满级（六级）开发者。 我将如何教会你通过【定制脚本】赚到你人生的第一桶金？ 零基础程序定制脚本开发课程，是完全针对零脚本开发经验的小白而设计，课程内容共分为3大阶段： ①前期将带你掌握Q开发语言和界面交互开发能力； ②中期通过实战来制作有具体需求的定制脚本； ③后期将解锁脚本的更高阶玩法，打通任督二脉； ④应用定制脚本合法赚取额外收入的完整经验分享，带你通过程序定制脚本开发这项副业，赚取到你的第一桶金！

原价169，限时立减100元！ 系统掌握Python核心语法16点，轻松应对工作中80%以上的Python使用场景！ 69元=72讲+源码+社群答疑+讲师社群分享会&nbsp; 【哪些人适合学习这门课程？】 1）大学生，平时只学习了Python理论，并未接触Python实战问题； 2）对Python实用技能掌握薄弱的人，自动化、爬虫、数据分析能让你快速提高工作效率； 3）想学习新技术，如：人工智能、机器学习、深度学习等，这门课程是你的必修课程； 4）想修炼更好的编程内功，优秀的工程师肯定不能只会一门语言，Python语言功能强大、使用高效、简单易学。 【超实用技能】 从零开始 自动生成工作周报 职场升级 豆瓣电影数据爬取 实用案例 奥运冠军数据分析 自动化办公：通过Python自动化分析Excel数据并自动操作Word文档，最终获得一份基于Excel表格的数据分析报告。 豆瓣电影爬虫：通过Python自动爬取豆瓣电影信息并将电影图片保存到本地。 奥运会数据分析实战 简介：通过Python分析120年间奥运会的数据，从不同角度入手分析，从而得出一些有趣的结论。 【超人气老师】 二两 中国人工智能协会高级会员 生成对抗神经网络研究者 《深入浅出生成对抗网络：原理剖析与TensorFlow实现》一书作者 阿里云大学云学院导师 前大型游戏公司后端工程师 【超丰富实用案例】 0）图片背景去除案例 1）自动生成工作周报案例 2）豆瓣电影数据爬取案例 3）奥运会数据分析案例 4）自动处理邮件案例 5）github信息爬取/更新提醒案例 6）B站百大UP信息爬取与分析案例 7）构建自己的论文网站案例

这门课程基于主流的java8平台，由浅入深的详细讲解了java SE的开发技术，可以使java方向的入门学员，快速扎实的掌握java开发技术！

&nbsp; &nbsp; &nbsp; &nbsp; 本课程为Python数据挖掘方向的入门课程，课程主要以真实数据为基础，详细介绍数据挖掘入门的流程和使用Python实现pandas与numpy在数据挖掘方向的运用，并深入学习如何运用scikit-learn调用常用的数据挖掘算法解决数据挖掘问题，为进一步深入学习数据挖掘打下扎实的基础。

本课程从初学者角度出发，提供了C#从入门到成为程序开发高手所需要掌握的各方面知识和技术。 【课程特点】 1 由浅入深，编排合理； 2 视频讲解，精彩详尽； 3 丰富实例，轻松易学； 4 每章总结配有难点解析文档。 15大章节，228课时，1756分钟与你一同进步！

文章目录数据库基础知识为什么要使用数据库什么是SQL？什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式？分别有什么区别？数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别？InnoDB引擎的4大特性存储引擎选择索引什么是索引？索引有哪些优缺点？索引使用场景（重点）...

利用数字电子计数知识设计并制作的数字电子钟(含multisim仿真)，该数字钟具有显示星期、24小时制时间、闹铃、整点报时、时间校准功能

想学好JAVA必须要报两万的培训班吗？ Java大神勿入 如果你： 零基础想学JAVA却不知道从何入手 看了一堆书和视频却还是连JAVA的环境都搭建不起来 囊中羞涩面对两万起的JAVA培训班不忍直视 在职没有每天大块的时间专门学习JAVA 那么恭喜你找到组织了，在这里有： 1. 一群志同道合立志学好JAVA的同学一起学习讨论JAVA 2. 灵活机动的学习时间完成特定学习任务+每日编程实战练习 3. 热心助人的助教和讲师及时帮你解决问题，不按时完成作业小心助教老师的家访哦 上一张图看看前辈的感悟： &nbsp; &nbsp; 大家一定迫不及待想知道什么是极简JAVA学习营了吧，下面就来给大家说道说道： 什么是极简JAVA学习营？ 1. 针对Java小白或者初级Java学习者； 2. 利用9天时间，每天1个小时时间； 3.通过 每日作业 / 组队PK / 助教答疑 / 实战编程 / 项目答辩 / 社群讨论 / 趣味知识抢答等方式让学员爱上学习编程 ， 最终实现能独立开发一个基于控制台的‘库存管理系统’ 的学习模式 极简JAVA学习营是怎么学习的？ &nbsp; 如何报名？ 只要购买了极简JAVA一：JAVA入门就算报名成功！ &nbsp;本期为第四期极简JAVA学习营，我们来看看往期学员的学习状态： 作业看这里~ &nbsp; 助教的作业报告是不是很专业 不交作业打屁屁 助教答疑是不是很用心 &nbsp; 有奖抢答大家玩的很嗨啊 &nbsp; &nbsp; 项目答辩终于开始啦 &nbsp; 优秀者的获奖感言 &nbsp; 这是答辩项目的效果 &nbsp; &nbsp; 这么细致的服务，这么好的氛围，这样的学习效果，需要多少钱呢？ 不要1999，不要199，不要99，只要9.9 是的你没听错，只要9.9以上所有就都属于你了 如果你： 1、&nbsp;想学JAVA没有基础 2、&nbsp;想学JAVA没有整块的时间 3、&nbsp;想学JAVA没有足够的预算 还等什么？赶紧报名吧，抓紧抢位，本期只招300人，错过只有等时间待定的下一期了 &nbsp; 报名请加小助手微信：eduxy-1 &nbsp; &nbsp;

董付国系列教材《Python程序设计基础》、《Python程序设计（第2版）》、《Python可以这样学》配套视频，讲解Python 3.5.x和3.6.x语法、内置对象用法、选择与循环以及函数设计与使用、lambda表达式用法、字符串与正则表达式应用、面向对象编程、文本文件与二进制文件操作、目录操作与系统运维、异常处理结构。

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性？原理是什么Java语言有哪些特点什么是字节码？采用字节码的最大好处是什么什么是Java程序的主类？应用程序和小程序的主类有何不同？Java应用程序与小程序之间有那些差别？Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

机器学习实战系列套餐以实战为出发点，帮助同学们快速掌握机器学习领域必备经典算法原理并结合Python工具包进行实战应用。建议学习顺序：1.Python必备工具包：掌握实战工具 2.机器学习算法与实战应用：数学原理与应用方法都是必备技能 3.数据挖掘实战：通过真实数据集进行项目实战。按照下列课程顺序学习即可！ 课程风格通俗易懂，用最接地气的方式带领大家轻松进军机器学习！提供所有课程代码，PPT与实战数据，有任何问题欢迎随时与我讨论。

发现网上很多Java面试题都没有答案，所以花了很长时间搜集整理出来了这套Java面试题大全，希望对大家有帮助哈~ 本套Java面试题大全，全的不能再全，哈哈~ 一、Java 基础 1. JDK 和 JRE 有什么区别？ JDK：Java Development Kit 的简称，java 开发工具包，提供了 java 的开发环境和运行环境。 JRE：Java Runtime Environ...

已经连续五年参加大厂校招、社招的技术面试工作，简历看的不下于万份 这篇文章会用实例告诉你，什么是差的程序员简历！ 疫情快要结束了，各个公司也都开始春招了，作为即将红遍大江南北的新晋UP主，那当然要为小伙伴们做点事（手动狗头）。 就在公众号里公开征简历，义务帮大家看，并一一点评。《启舰：春招在即，义务帮大家看看简历吧》 一石激起千层浪，三天收到两百多封简历。 花光了两个星期的所有空闲时...

深度学习系列课程从深度学习基础知识点开始讲解一步步进入神经网络的世界再到卷积和递归神经网络，详解各大经典网络架构。实战部分选择当下最火爆深度学习框架PyTorch与Tensorflow/Keras，全程实战演示框架核心使用与建模方法。项目实战部分选择计算机视觉与自然语言处理领域经典项目，从零开始详解算法原理，debug模式逐行代码解读。适合准备就业和转行的同学们加入学习！ 建议按照下列课程顺序来进行学习 （1）掌握深度学习必备经典网络架构 （2）深度框架实战方法 （3）计算机视觉与自然语言处理项目实战。（按照课程排列顺序即可）

本课程为HoloLens2开发入门教程，讲解部署开发环境，安装VS2019，Unity版本，Windows SDK，创建Unity项目，讲解如何使用MRTK，编辑器模拟手势交互，打包VS工程并编译部署应用到HoloLens上等。

本文的面试题如下： Redis 持久化机制 缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题 热点数据和冷数据是什么 Memcache与Redis的区别都有哪些？ 单线程的redis为什么这么快 redis的数据类型，以及每种数据类型的使用场景，Redis 内部结构 redis的过期策略以及内存淘汰机制【～】 Redis 为什么是单线程的，优点 如何解决redis的并发竞争key问题 Red...

该套餐共包含从C小白到C++到MFC的全部课程，整套学下来绝对成为一名C++大牛！！！

这是武汉理工大学计算机学院数据结构与算法综合实验课程的第三次项目：欢乐连连看(C++ & MFC)迭代开发代码。运行环境：VS2017。已经实现功能：开始游戏、消子、判断胜负、提示、重排、计时、帮助。

YOLOv3是一种基于深度学习的端到端实时目标检测方法，以速度快见长。本课程将手把手地教大家使用labelImg标注和使用YOLOv3训练自己的数据集。课程分为三个小项目：足球目标检测（单目标检测）、梅西目标检测（单目标检测）、足球和梅西同时目标检测（两目标检测）。 本课程的YOLOv3使用Darknet，在Ubuntu系统上做项目演示。包括：安装Darknet、给自己的数据集打标签、整理自己的数据集、修改配置文件、训练自己的数据集、测试训练出的网络模型、性能统计(mAP计算和画出PR曲线)和先验框聚类。 Darknet是使用C语言实现的轻型开源深度学习框架，依赖少，可移植性好，值得深入探究。 除本课程《YOLOv3目标检测实战：训练自己的数据集》外，本人推出了有关YOLOv3目标检测的系列课程，请持续关注该系列的其它课程视频，包括： 《YOLOv3目标检测实战：交通标志识别》 《YOLOv3目标检测：原理与源码解析》 《YOLOv3目标检测：网络模型改进方法》 敬请关注并选择学习！

uboot-2015-07最新代码，喜欢的朋友请拿去