pytorch 深度学习 增量训练

抱歉,csdn最近掉进钱眼里面去了,C币用完了,无法悬赏了。

问题:深度学习分类问题,我现已经对500个类别,10万张的图片进行了第一次训练训练。
现在有了一批新的数据,50个类别,10000张图片(每隔几天或每周都会在数据中添加新类)。由于训练时间的原因,我希望避免使用完整的10万+ 10000张图像进行训练,独的使用新增的50个类别进行增量训练,且不会忘记第一次训练的数据。

希望可以给我一些思路或者想法什么的。

1个回答

qq_39356813
王夜羽 很抱歉,才看到您的回复,这样的话,您参考下http://www.cnblogs.com/imagef/p/7434995.html者《增量学习及其在图像识别中的应用》这本书
一年多之前 回复
Fan_Xuan
夜的那种黑丶 2.第二篇博客看过,根据还是微调的影子,没有办法解决fc层的问题啊,新增了类别呢
一年多之前 回复
Fan_Xuan
夜的那种黑丶 1.微调是没有办法解决'catastrophic forgetting'的问题的,retrain也是需要训练全部的数据;
一年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
PyTorch-YOLOv3 训练报错 如何解决?

报错信息 C:/w/1/s/windows/pytorch/aten/src\ATen/native/IndexingUtils.h:20: UserWarning: indexing with dtype torch.uint8 is now deprecated, please use a dtype torch.bool instead. Traceback (most recent call last): File "train.py", line 141, in <module> logger.list_of_scalars_summary(tensorboard_log, batches_done) File "F:\StuPy\PyTorch-YOLOv3\utils\logger.py", line 17, in list_of_scalars_summary summary = tf.Summary(value=[tf.Summary.Value(tag=tag, simple_value=value) for tag, value in tag_value_pairs]) AttributeError: module 'tensorflow' has no attribute 'Summary' 已经安装插件版本 tensorboard 2.0.0 tensorflow 2.0.0 tensorflow-estimator 2.0.1 termcolor 1.1.0 terminaltables 3.1.0 torch 1.3.1 torchvision 0.4.1 tqdm 4.41.1 urllib3 1.25.7 Werkzeug 0.16.0 wheel 0.33.6 wrapt 1.11.2

CPU版本的pytorch maskrcnn怎么运行demo以及训练自己的shu'ju

最近刚学习深度学习,准备跑下pytorch版本的maskrcnn,但是因为电脑显卡是a卡,所以照着github(https://github.com/facebookresearch/maskrcnn-benchmark)上的教程安装了必要组件,但是没有装cuda和apex,结果运行demo(命令:python webcam.py --min-image-size 300 MODEL.DEVICE cpu)的shi'hou总是出现以下提醒没有装apex,可是apex要求环境是cuda,我没法装cuda啊,有没有大神来解答下,万分感谢!!! ``` File "h:\mask-rcnn\maskrcnn-benchmark-windows10installationfixes_ver2\maskrcnn_benchmark\layers\nms.py", line 5, in <module> from apex import amp ModuleNotFoundError: No module named 'apex' ```

pytorch利用卷积神经网络实现验证码识别,但是在写测试集的准确率函数时遇到问题

##在做一个验证码识别的机器学习,4位纯英文验证码,训练时使用了MultiLabelSoftMarginLoss()作为损失函数,但是测试时不知道如何计算准确率,参考了这个代码,有无大佬能讲解下这段代码的意思? ![图片说明](https://img-ask.csdn.net/upload/202002/23/1582431087_25081.png)

请问,如何优化pytorch的模型预测速度

Namespace(backbone='resnet', batchSize=4, epoch_size=3, gpu_id='0', lr=1e-07, nAveGrad=1, nEpochs=100, nTestInterval=1, nThreads=1, phaseprediction='prediction', phasetest='test', phasetrain='train', resume_epoch=0, snapshot=3, testBatch=1, useTest=True, wd=0.0005) ------------ Options ------------- backbone: resnet batchSize: 4 epoch_size: 3 gpu_id: 0 gpu_ids: [0] lr: 1e-07 nAveGrad: 1 nEpochs: 100 nTestInterval: 1 nThreads: 1 phaseprediction: prediction phasetest: test phasetrain: train resume_epoch: 0 snapshot: 3 testBatch: 1 useTest: True wd: 0.0005 -------------- End ---------------- Constructing DeepLabv3+ model... Number of classes: 2 Output stride: 16 Number of Input Channels: 3 这是相关的参数设置,gpu:为2080ti,cuda:10.0 预测单张图片(1024*768)的速度很慢,要7-10s,有什么方法可以缩短时间到1-2s

pytorch训练LSTM模型的代码疑问

原博文链接地址:https://blog.csdn.net/Sebastien23/article/details/80574918 其中有不少代码完全看不太懂,想来这里求教下各位大神~~ ``` class Sequence(nn.Module): def __init__(self): super(Sequence,self).__init__() self.lstm1 = nn.LSTMCell(1,51) self.lstm2 = nn.LSTMCell(51,51) self.linear = nn.Linear(51,1) #上面三行代码是设置网络结构吧?为什么用的是LSTMCell,而不是LSTM?? def forward(self,inputs,future= 0): #这里的前向传播名称必须是forward,而不能随意更改??因为后面的模型调用过程中,并没有看到该方法的实现 outputs = [] h_t = torch.zeros(inputs.size(0),51) c_t = torch.zeros(inputs.size(0),51) h_t2 = torch.zeros(inputs.size(0),51) c_t2 = torch.zeros(inputs.size(0),51) #下面的代码中,LSTM的原理是要求三个输入:前一层的细胞状态、隐藏层状态和当前层的数据输入。这里却只有2个输入?? for i,input_t in enumerate(inputs.chunk(inputs.size(1),dim =1)): h_t,c_t = self.lstm1(input_t,(h_t,c_t)) h_t2,c_t2 = self.lstm2(h_t,(h_t2,c_t2)) output = self.linear(h_t2) outputs +=[output] for i in range(future): h_t,c_t = self.lstm1(output,(h_t,c_t)) h_t2,c_t2 = self.lstm2(h_t,(h_t2,c_t2)) output = self.linear(h_t2) outputs +=[output] #下面将所有的输出在第一维上相拼接,并剪除维度为2的数据??目的是什么? outputs = torch.stack(outputs,1).squeeze(2) return outputs ```

vs2017IDE+python+深度学习框架,运行调试时怎么使用GPU加速?

我用vs2017作为IDE,使用python编写深度学习程序,可以运行调试,无论tensorflow还是pytorch安装的都是gpu版本,cuda装了,anaconda也装了,但是程序运行计算时用的cpu,怎么用GPU进行加速?![图片说明](https://img-ask.csdn.net/upload/201904/18/1555582667_247165.png)

pytorch自定义初始化权重后模型loss一直在2点几

``` class Net(nn.Module): def __init__(self): super(Net,self).__init__() self.conv1 = nn.Conv2d(3,64,3,padding=1,bias=False) self.conv2 = nn.Conv2d(64,64,3,padding=1,bias=False) self.pool1 = nn.MaxPool2d(2, 2) self.bn1 = nn.BatchNorm2d(64) self.relu1 = nn.ReLU() self.conv3 = nn.Conv2d(64,128,3,padding=1,bias=False) self.conv4 = nn.Conv2d(128, 128, 3,padding=1,bias=False) self.pool2 = nn.MaxPool2d(2, 2, padding=1) self.bn2 = nn.BatchNorm2d(128) self.relu2 = nn.ReLU() self.conv5 = nn.Conv2d(128,128, 3,padding=1,bias=False) self.conv6 = nn.Conv2d(128, 128, 3,padding=1,bias=False) self.conv7 = nn.Conv2d(128, 128, 1,padding=1,bias=False) self.pool3 = nn.MaxPool2d(2, 2, padding=1) self.bn3 = nn.BatchNorm2d(128) self.relu3 = nn.ReLU() self.conv8 = nn.Conv2d(128, 256, 3,padding=1,bias=False) self.conv9 = nn.Conv2d(256, 256, 3, padding=1,bias=False) self.conv10 = nn.Conv2d(256, 256, 1, padding=1,bias=False) self.pool4 = nn.MaxPool2d(2, 2, padding=1) self.bn4 = nn.BatchNorm2d(256) self.relu4 = nn.ReLU() self.conv11 = nn.Conv2d(256, 512, 3, padding=1,bias=False) self.conv12 = nn.Conv2d(512, 512, 3, padding=1,bias=False) self.conv13 = nn.Conv2d(512, 512, 1, padding=1,bias=False) self.pool5 = nn.MaxPool2d(2, 2, padding=1) self.bn5 = nn.BatchNorm2d(512) self.relu5 = nn.ReLU() self.fc14 = nn.Linear(512*4*4,1024) self.drop1 = nn.Dropout2d() self.fc15 = nn.Linear(1024,1024) self.drop2 = nn.Dropout2d() self.fc16 = nn.Linear(1024,10) def forward(self,x): x = self.conv1(x) x = self.conv2(x) x = self.pool1(x) x = self.bn1(x) x = self.relu1(x) x = self.conv3(x) x = self.conv4(x) x = self.pool2(x) x = self.bn2(x) x = self.relu2(x) x = self.conv5(x) x = self.conv6(x) x = self.conv7(x) x = self.pool3(x) x = self.bn3(x) x = self.relu3(x) x = self.conv8(x) x = self.conv9(x) x = self.conv10(x) x = self.pool4(x) x = self.bn4(x) x = self.relu4(x) x = self.conv11(x) x = self.conv12(x) x = self.conv13(x) x = self.pool5(x) x = self.bn5(x) x = self.relu5(x) # print(" x shape ",x.size()) x = x.view(-1,512*4*4) x = F.relu(self.fc14(x)) x = self.drop1(x) x = F.relu(self.fc15(x)) x = self.drop2(x) x = self.fc16(x) return x model = Net() #model = torch.nn.DataParallel(model) if t.cuda.is_available(): model.cuda() print(model) # torchvision输出的是PILImage,值的范围是[0, 1]. # 我们将其转化为tensor数据,并归一化为[-1, 1]。 transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), ]) # 训练集,将相对目录./data下的cifar-10-batches-py文件夹中的全部数据(50000张图片作为训练数据)加载到内存中,若download为True时,会自动从网上下载数据并解压 trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=False, transform=transform) # 将训练集的50000张图片划分成12500份,每份4张图,用于mini-batch输入。shffule=True在表示不同批次的数据遍历时,打乱顺序。num_workers=2表示使用两个子进程来加载数据 trainloader = torch.utils.data.DataLoader(trainset, batch_size=100, shuffle=False, num_workers=1) #测试集,将相对目录./data下的cifar-10-batches-py文件夹中的全部数据(10000张图片作为测试数据)加载到内存中,若download为True时,会自动从网上下载数据并解压 testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=False, transform=transform) # 将测试集的10000张图片划分成2500份,每份4张图,用于mini-batch输入。 testloader = torch.utils.data.DataLoader(testset, batch_size=50, shuffle=False, num_workers=1) criterion = nn.CrossEntropyLoss()#叉熵损失函数 optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9)#使用SGD(随机梯度下降)优化,学习率为0.001,动量为0.9 for epoch in range(1): # 遍历数据集10次 running_loss = 0.0 # enumerate(sequence, [start=0]),i序号,data是数据 for i, data in enumerate(trainloader, 0): #for i in range(1000): # get the inputs #data is list inputs, labels = data # data的结构是:[4x3x32x32的张量,长度4的张量] # wrap them in Variable inputs = Variable(inputs) labels=Variable(labels)# 把input数据从tensor转为variable if t.cuda.is_available(): inputs=inputs.cuda() labels=labels.cuda() #inputs,labels= inputs.type(torch.FloatTensor),labels.type(torch.FloatTensor) # zero the parameter gradients optimizer.zero_grad() # 将参数的grad值初始化为0 # forward + backward + optimize outputs = model(inputs) loss = criterion(outputs, labels) # 将output和labels使用叉熵计算损失 loss.backward() # 反向传播 optimizer.step() # 用SGD更新参数 # 每2000批数据打印一次平均loss值 running_loss += loss.item() # loss本身为Variable类型,所以要使用data获取其Tensor,因为其为标量,所以取0 或使用loss.item() if i % 500 == 499: # 每2000批打印一次 print('[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 500)) running_loss = 0.0 print('Finished Training') start = time.clock()#.time correct = 0 total = 0 for data in testloader: images, labels = data images=images.cuda() labels=labels.cuda() outputs = model(Variable(images)) print(outputs.shape) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum() print('Accuracy of the network on the 10000 test images: %d %%' % ( 100 * correct / total)) end = time.clock()#.time print("Running time: %s Seconds" % (end-start)) weight0=np.random.random((64,3,3,3)) weight0=nn.Parameter(torch.FloatTensor(weight0).cuda(),requires_grad=True) #weight1=np.random.random((64,64,3,3),dtype=np.float32) weight1=np.random.random((64,64,3,3)) weight1=nn.Parameter(torch.FloatTensor(weight1).cuda(),requires_grad=True) weight2=np.random.random((128,64,3,3)) weight2=nn.Parameter(torch.FloatTensor(weight2).cuda(),requires_grad=True) weight3=np.random.random((128,128,3,3)) weight3=nn.Parameter(torch.FloatTensor(weight3).cuda(),requires_grad=True) weight4=np.random.random((128,128,3,3)) weight4=nn.Parameter(torch.FloatTensor(weight4).cuda(),requires_grad=True) weight5=np.random.random((128,128,3,3)) weight5=nn.Parameter(torch.FloatTensor(weight5).cuda(),requires_grad=True) weight6=np.random.random((128,128,1,1)) weight6=nn.Parameter(torch.FloatTensor(weight6).cuda(),requires_grad=True) weight7=np.random.random((256,128,3,3)) weight7=nn.Parameter(torch.FloatTensor(weight7).cuda(),requires_grad=True) weight8=np.random.random((256,256,3,3)) weight8=nn.Parameter(torch.FloatTensor(weight8).cuda(),requires_grad=True) weight9=np.random.random((256,256,1,1)) weight9=nn.Parameter(torch.FloatTensor(weight9).cuda(),requires_grad=True) weight10=np.random.random((512,256,3,3)) weight10=nn.Parameter(torch.FloatTensor(weight10).cuda(),requires_grad=True) weight11=np.random.random((512,512,3,3)) weight11=nn.Parameter(torch.FloatTensor(weight11).cuda(),requires_grad=True) weight12=np.random.random((512,512,1,1)) weight12=nn.Parameter(torch.FloatTensor(weight12).cuda(),requires_grad=True) new_layer_id=0 for m1 in model.modules(): if isinstance(m1, nn.Conv2d): if (new_layer_id==0): m1.weight = weight0 elif(new_layer_id==1): m1.weight= weight1 elif(new_layer_id==2): m1.weight = weight2 elif(new_layer_id==3): m1.weight = weight3 elif(new_layer_id==4): m1.weight = weight4 elif(new_layer_id==5): m1.weight = weight5 elif(new_layer_id==6): m1.weight = weight6 elif(new_layer_id==7): m1.weight = weight7 elif(new_layer_id==8): m1.weight = weight8 elif(new_layer_id==9): m1.weight = weight9 elif(new_layer_id==10): m1.weight = weight10 elif(new_layer_id==11): m1.weight = weight11 elif(new_layer_id==12): m1.weight = weight12 new_layer_id=new_layer_id+1 elif isinstance(m1, nn.BatchNorm2d): m1.weight = m1.weight m1.bias = m1.bias elif isinstance(m1, nn.Linear): m1.weight = m1.weight m1.bias = m1.bias #torchvision输出的是PILImage,值的范围是[0, 1]. # 我们将其转化为tensor数据,并归一化为[-1, 1]。 transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), ]) # 训练集,将相对目录./data下的cifar-10-batches-py文件夹中的全部数据(50000张图片作为训练数据)加载到内存中,若download为True时,会自动从网上下载数据并解压 trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=False, transform=transform) # 将训练集的50000张图片划分成12500份,每份4张图,用于mini-batch输入。shffule=True在表示不同批次的数据遍历时,打乱顺序。num_workers=2表示使用两个子进程来加载数据 trainloader = torch.utils.data.DataLoader(trainset, batch_size=100, shuffle=False, num_workers=1) #测试集,将相对目录./data下的cifar-10-batches-py文件夹中的全部数据(10000张图片作为测试数据)加载到内存中,若download为True时,会自动从网上下载数据并解压 testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=False, transform=transform) # 将测试集的10000张图片划分成2500份,每份4张图,用于mini-batch输入。 testloader = torch.utils.data.DataLoader(testset, batch_size=50, shuffle=False, num_workers=1) criterion1 = nn.CrossEntropyLoss()#叉熵损失函数 optimizer1 = optim.Adam(model.parameters(), lr=0.001)#使用SGD(随机梯度下降)优化,学习率为0.001,动量为0.9 #momentum=0.9 start = time.clock()#.time correct = 0 total = 0 for data in testloader: images, labels = data images=images.cuda() labels=labels.cuda() outputs = model(Variable(images)) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum() print('Accuracy of the Newmodel1 on the 10000 test images: %d %%' % ( 100 * correct / total)) end = time.clock()#.time print("Running time: %s Seconds" % (end-start)) for epoch in range(20): running_loss = 0.0 for i, data in enumerate(trainloader, 0): #for i in range(1000): inputs, labels = data inputs = Variable(inputs) #print(inputs.shape) labels=Variable(labels) inputs=inputs.cuda() labels=labels.cuda() optimizer1.zero_grad() outputs = model(inputs) loss = criterion1(outputs, labels) loss.backward() optimizer1.step() running_loss += loss.item() if i % 500 == 499: print('[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 500)) ```

PyTorch-YOLOv3 WIN10 笔记本 如何设置独显训练?

![图片说明](https://img-ask.csdn.net/upload/202001/12/1578824662_261179.png) 报错信息 RuntimeError: CUDA out of memory. Tried to allocate 14.00 MiB (GPU 0; 6.00 GiB total capacity; 4.41 GiB already allocated; 3.14 MiB free; 213.18 MiB cached) GPU 0是核显 GPU 1是独显

pytorch机器学习实现验证码识别,现在图片尺寸100*38,batch_size取6,定义网络如图,但是在全连接层报错,请问是哪里算错了,正确应该怎么写?

##pytorch机器学习实现验证码识别,现在图片尺寸100*38,batch_size取6,定义网络如图,用了三个卷积,三个池化,卷积保持宽高不变,池化让宽高变为一半: ![图片说明](https://img-ask.csdn.net/upload/202002/23/1582387358_610057.png) ## 但是运行后在全连接层报错: ![图片说明](https://img-ask.csdn.net/upload/202002/23/1582387419_217352.png) ## 请教大佬,是哪里算错了,正确应该在全连接层怎么写?

pytorch图像数据集怎么进行交叉验证

pytorch训练过程中,每次迭代训练时怎么将图像数据集按比例随机分成训练集和测试集,进行训练和验证。类似与sklearn里面的交叉验证

新人 人脸识别 python opencv.深度学习 有一些概念性问题 求助一下

刚开始接触学习 人脸识别 网上教程有点多和乱。。看了很多东西。 我总结为下面3个问题。 1.pyyhon的cnn卷积神经网络可以直接做人脸识别? 2.python for opencv 可以直接做出人脸识别? 3 python opencv+深度学习cnn 来做出人脸识别。? 根据百度词条 opencv是一个机器视觉库 看了很多文章他里面应该是有传统的识别haar和llbp特征识别出人脸的 而cnn神经网络算法是和opencv中传统算法所不一样的 是一个深度学习的强化 更好的做人脸识别。 我对上述内容怎么说就是比较懵逼啦。。希望有朋友能帮我梳理出几个学习的框架。我好去学习 另外我现在是想在windows上学习。后期想加在树莓派上的linux系统。 谢谢大家!刚开始用csdn....学生党没有钱了 不好意思各位。。

找DAN,DDC,JAN,RTN,simNet,ResNet-50等模型的pytorch框架代码。能找几个是几个。

找DAN,DDC,JAN,RTN,simNet,ResNet-50等模型的pytorch框架代码。最少找2个以上,能找全最好。下面是模型对应论文。 DAN:(Learning Transferable Features with Deep Adaptation Networks) DDC:(Deep domain confusion: Maximizing for domain invariance) RTN:(Unsupervised domain adaptation with residualtransfer networks) JAN:(Deep transfer learning with joint adaptationnetworks) ResNet-50:(Deep residual learning for image recognition)

pycharm中安装不上pytorch,一直出现图片上这个错误,初学者,求大神们帮助?

![图片说明](https://img-ask.csdn.net/upload/201909/02/1567439350_422377.png) 在windows10上一直安装不上pytorch,初学者,求大神帮助

关于pytorch的引用问题

几分钟前还能使用pytorch的各种函数,突然就出现import torch不报错,但就是使用不了任何的pytorch函数的现象![图片说明](https://img-ask.csdn.net/upload/201906/04/1559658027_172890.png)![图片说明]

环境是Windows10,pytorch下的一维时间信号的数据加载、预处理怎么弄?

1、问题:编一个ResNet,实现一维时间信号的分类,实验数据是测的压力信号,每一个数据是一段时间序列+数字标签,怎么加载和预处理自己的数据呢? 2、查的资料都是图像处理的数据加载,找不到一维时间信号的加载和预处理

Pytorch CiFar10 , Lenet5 ,损失函数不收敛

问题 同标题 import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim import torchvision import torchvision.transforms as transforms import torchvision.datasets as datasets import time transform = transforms.Compose([transforms.ToTensor(),#把数据转换成tensor transforms.Normalize((0.5,0.5,0.5),(0.5,0.5,0.5)) #数据归一化 ,第一组参数是所有channel的平均值,第2组参数是方差 # 为什么需要平均值的原因是 ,所有图片都有的 ,数据不需要学习,因为平均值都在每张图片里了是干扰项目 ]) train_data = datasets.CIFAR10('./data',train=True,transform=transform,download=True) train_loader = torch.utils.data.DataLoader(dataset=train_data,batch_size=4,shuffle=True,num_workers=2) test_data = datasets.CIFAR10('./test',train=False,transform=transform,download=True) test_loader = torch.utils.data.DataLoader(dataset=test_data,batch_size=4,shuffle=True,num_workers=2) import matplotlib.pyplot as plt import numpy as np def imgsshow(img): ##? 这里有个包升级的问题 ,导致目前没有解决 img = img/2 + 0.5 #由于在归一化 transform里有去掉平均的处理 在这里需要变回来 img = img.numpy() # numpay array img = np.transpose(img,(1,2,0)) # (c,h,w) -> (h,w,c) 符合正常显示的数据的方式 plt.show(img) data_iter = iter(train_loader) #随机加载一个min batch images , labels = data_iter.next() # 把图片 和 label 分开 class Net(nn.Module): def __init__(self): super(Net,self).__init__() # LeCun # N = (input_size - kernel_size + 2 padding)/stripe +1 self.conv1 = nn.Sequential(nn.Conv2d(3,6,5,1), # out = (32 -5 + 2*0)/1+1 =28 nn.ReLU(), nn.MaxPool2d(kernel_size=2,stride=2)) # out = 14 self.conv2 = nn.Sequential( nn.Conv2d(6,16,5), # out = (14 -5 +0)1 +1 =10 nn.ReLU(), nn.MaxPool2d(kernel_size=2,stride =2) # out = 10/2 = 5 ) self.fc1 = nn.Sequential( nn.Linear(16*5*5,120), nn.ReLU() ) self.fc2 = nn.Sequential( nn.Linear(120,84), nn.ReLU() ) self.fc3 = nn.Linear(84,10) def forward(self, x): x = self.conv1(x) x = self.conv2(x) x = x.view(-1, 16*5*5) print ("%%"*50) print ('dimision change',x.shape) x = self.fc1(x) x = self.fc2(x) x = self.fc3(x) return x net = Net() print("current net is ",net) criterion = nn.CrossEntropyLoss() tunner = optim.SGD(net.parameters(),lr=0.0001,momentum=0.9) traning_loss_history = [] test_loss_history = [] for epoch in range(1000): net.train() running_loss = 0.0 print ("training.... epoch{0}".format(epoch)) start_epoc = time.time() for i ,data in enumerate(train_loader,0): #一次仅仅提取一个minbatch ,一致到所有的数据取完 batch_time = time.time() imges, labels = data # imges, labels = Variable(images),Variable(labels) tunner.zero_grad() outs = net(images) loss = criterion(outs, labels) # tunner.zero_grad() loss.backward() tunner.step() if i % 1000 == 0: print ("i {0} : loss {1} : duration {2}".format(i, loss.item(), (time.time()-batch_time))) running_loss += loss.item() if i%250 == 0 : net.eval() with torch.no_grad(): for data in test_loader: test_images ,test_label = data test_outs = net(test_images) test_loss = criterion(test_outs,test_label) traning_loss_history .append(running_loss/250) test_loss_history.append(test_loss.item()) running_loss = 0.0 print("epoch {0} :: loss {1} :: duration {2}".format(epoch,loss.item(),time.time()-start_epoc)) # 为什么损失函数会有regression呢 ? 原因 1 ,minbatch的偶然性导致 ,比如这几次都是飞机 2, learning rrate {} plt.figure() plt.plot(traning_loss_history) plt.plot(test_loss_history) plt.legend('training loss','test loss') plt.tile("Traing /Test loss") plt.xlabel('#mini_batch *250') plt.ylabel('Loss')

pytorch自定义loss函数

大家好,在实现自定义的语义分割的loss函数的时候,遇到了问题,请大家帮忙一下, 这个自定义的loss函数的做法是,根据真实label(batchsize,h,w)的每个pixel的对应的class值,在网络的输出的预测值(batch-size,num-class,h,w)中,选出class对应的那个预测值,得到的就是真实label的每个pixel的class对应的预测值(batchsize,h,w),现在我自己按照我下面的方式想实现上述的目的,但是在pytorh中的loss函数,想要能够反向传播就必须所有的值都是Variable,现在发现的问题就在pytorch的tensor中的flatten函数会有问题,想问问大家有没有什么方式能够在tensor的方式下实现。

mac安装pytorch1.1.0失败

无论在本机还是anaconda下都是这个错误![图片说明](https://img-ask.csdn.net/upload/201905/27/1558958039_217227.png) 使用pip清华镜像安装的,还有一个问题,conda国内源用不了,默认源下载pytorch下不动,应该怎么办

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

删库了,我们一定要跑路吗?

在工作中,我们误删数据或者数据库,我们一定需要跑路吗?我看未必,程序员一定要学会自救,神不知鬼不觉的将数据找回。 在 mysql 数据库中,我们知道 binlog 日志记录了我们对数据库的所有操作,所以 binlog 日志就是我们自救的利器。 接下来就来开启程序员自救之路。 想要自救成功,binlog 这把利器一定要好,在自己之前,我们一定要确定我们有 binlog 这把利器,以下就是确保有 bi...

再不跳槽,应届毕业生拿的都比我多了!

跳槽几乎是每个人职业生涯的一部分,很多HR说“三年两跳”已经是一个跳槽频繁与否的阈值了,可为什么市面上有很多程序员不到一年就跳槽呢?他们不担心影响履历吗? PayScale之前发布的**《员工最短任期公司排行榜》中,两家码农大厂Amazon和Google**,以1年和1.1年的员工任期中位数分列第二、第四名。 PayScale:员工最短任期公司排行榜 意外的是,任期中位数极小的这两家公司,薪资...

我以为我学懂了数据结构,直到看了这个导图才发现,我错了

数据结构与算法思维导图

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

华为初面+综合面试(Java技术面)附上面试题

华为面试整体流程大致分为笔试,性格测试,面试,综合面试,回学校等结果。笔试来说,华为的难度较中等,选择题难度和网易腾讯差不多。最后的代码题,相比下来就简单很多,一共3道题目,前2题很容易就AC,题目已经记不太清楚,不过难度确实不大。最后一题最后提交的代码过了75%的样例,一直没有发现剩下的25%可能存在什么坑。 笔试部分太久远,我就不怎么回忆了。直接将面试。 面试 如果说腾讯的面试是挥金如土...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

讲一个程序员如何副业月赚三万的真实故事

loonggg读完需要3分钟速读仅需 1 分钟大家好,我是你们的校长。我之前讲过,这年头,只要肯动脑,肯行动,程序员凭借自己的技术,赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

上班一个月,后悔当初着急入职的选择了

最近有个老铁,告诉我说,上班一个月,后悔当初着急入职现在公司了。他之前在美图做手机研发,今年美图那边今年也有一波组织优化调整,他是其中一个,在协商离职后,当时捉急找工作上班,因为有房贷供着,不能没有收入来源。所以匆忙选了一家公司,实际上是一个大型外包公司,主要派遣给其他手机厂商做外包项目。**当时承诺待遇还不错,所以就立马入职去上班了。但是后面入职后,发现薪酬待遇这块并不是HR所说那样,那个HR自...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

外包程序员的幸福生活

今天给你们讲述一个外包程序员的幸福生活。男主是Z哥,不是在外包公司上班的那种,是一名自由职业者,接外包项目自己干。接下来讲的都是真人真事。 先给大家介绍一下男主,Z哥,老程序员,是我十多年前的老同事,技术大牛,当过CTO,也创过业。因为我俩都爱好喝酒、踢球,再加上住的距离不算远,所以一直也断断续续的联系着,我对Z哥的状况也有大概了解。 Z哥几年前创业失败,后来他开始干起了外包,利用自己的技术能...

现代的 “Hello, World”,可不仅仅是几行代码而已

作者 |Charles R. Martin译者 | 弯月,责编 | 夕颜头图 |付费下载自视觉中国出品 | CSDN(ID:CSDNnews)新手...

!大部分程序员只会写3年代码

如果世界上都是这种不思进取的软件公司,那别说大部分程序员只会写 3 年代码,恐怕就没有程序员这种职业。

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

HTTP与HTTPS的区别

面试官问HTTP与HTTPS的区别,我这样回答让他竖起大拇指!

程序员毕业去大公司好还是小公司好?

虽然大公司并不是人人都能进,但我仍建议还未毕业的同学,尽力地通过校招向大公司挤,但凡挤进去,你这一生会容易很多。 大公司哪里好?没能进大公司怎么办?答案都在这里了,记得帮我点赞哦。 目录: 技术氛围 内部晋升与跳槽 啥也没学会,公司倒闭了? 不同的人脉圈,注定会有不同的结果 没能去大厂怎么办? 一、技术氛围 纵观整个程序员技术领域,哪个在行业有所名气的大牛,不是在大厂? 而且众所...

男生更看重女生的身材脸蛋,还是思想?

往往,我们看不进去大段大段的逻辑。深刻的哲理,往往短而精悍,一阵见血。问:产品经理挺漂亮的,有点心动,但不知道合不合得来。男生更看重女生的身材脸蛋,还是...

程序员为什么千万不要瞎努力?

本文作者用对比非常鲜明的两个开发团队的故事,讲解了敏捷开发之道 —— 如果你的团队缺乏统一标准的环境,那么即使勤劳努力,不仅会极其耗时而且成果甚微,使用...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

终于懂了TCP和UDP协议区别

终于懂了TCP和UDP协议区别

无代码时代来临,程序员如何保住饭碗?

编程语言层出不穷,从最初的机器语言到如今2500种以上的高级语言,程序员们大呼“学到头秃”。程序员一边面临编程语言不断推陈出新,一边面临由于许多代码已存在,程序员编写新应用程序时存在重复“搬砖”的现象。 无代码/低代码编程应运而生。无代码/低代码是一种创建应用的方法,它可以让开发者使用最少的编码知识来快速开发应用程序。开发者通过图形界面中,可视化建模来组装和配置应用程序。这样一来,开发者直...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

计算机编程语言排行榜—TIOBE世界编程语言排行榜(2020年1月份最新版)

深入了解IT/互联网行业及岗位,请参阅通用IT/互联网岗位招聘计划(最新全岗版)。 深入了解职业晋升及学习路线,请参阅最优职业晋升路线和课程学习指南(最新全栈版)。 内容导航: 1、TIOBE排行榜 2、总榜(2020年1月份) 3、本月前三名 4、参考地址 1、TIOBE排行榜 TIOBE排行榜是根据全世界互联网上有经验的程序员、课程和第三方厂商的数量,并使用搜索引擎(如Google

立即提问
相关内容推荐