pytorch 深度学习 增量训练

抱歉,csdn最近掉进钱眼里面去了,C币用完了,无法悬赏了。

问题:深度学习分类问题,我现已经对500个类别,10万张的图片进行了第一次训练训练。
现在有了一批新的数据,50个类别,10000张图片(每隔几天或每周都会在数据中添加新类)。由于训练时间的原因,我希望避免使用完整的10万+ 10000张图像进行训练,独的使用新增的50个类别进行增量训练,且不会忘记第一次训练的数据。

希望可以给我一些思路或者想法什么的。

1个回答

qq_39356813
王夜羽 很抱歉,才看到您的回复,这样的话,您参考下http://www.cnblogs.com/imagef/p/7434995.html者《增量学习及其在图像识别中的应用》这本书
9 个月之前 回复
Fan_Xuan
夜的那种黑丶 2.第二篇博客看过,根据还是微调的影子,没有办法解决fc层的问题啊,新增了类别呢
9 个月之前 回复
Fan_Xuan
夜的那种黑丶 1.微调是没有办法解决'catastrophic forgetting'的问题的,retrain也是需要训练全部的数据;
9 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
深度学习(Pytorch) 卷积神经网络训练 fashion mnist
fashion mnist数据获取 根据Fashion Mnist论文给出的网址下载数据集: https://github.com/zalandoresearch/fashion-mnist 网络结构 包括输入层,两个卷积层,全连接层和输出层,下面是详细信息 Net( (conv1): Sequential( (0): Conv2d(1, 16, kernel_size=(5,...
深度学习框架PyTorch学习——训练一个分类器
2019-03-10 20:38:16 请一定要多看这个例子,知道弄懂,自己能完全理解这些步骤,以及为什么需要这样做?后面还有一个案例会更加加深你的理解。喜欢的欢迎关注加收藏。 https:...
深度学习教材之深度学习之pytorch
深度学习框架 pytorch,入门教程必备,浅显易懂 ,不容错过
深度学习之Pytorch
深度学习pytorch,高清版,详细的介绍了pytorch的学习试用
深度学习之pytorch
pytorch的教程,写的比较详细,大家可以看看 觉得还是蛮不错的
Pytorch 深度学习
Pytorch 1.0 版教程(英文版)。深度学习入门教程,总共157页。
pytorch深度学习
此资源中的这本深度学习pytorch,可以帮助你快速学习pytorch
深度学习pytorch
好资源,自己淘宝购买的电子书,适合刚入门pytorch的使用
《深度学习之Pytorch》
深度学习入门教程, 浅显易懂, 非常适合新手,初学者学习
Word2Vec模型增量训练
一、 问题由来 word2vec的本质是一个神经网络语言模型,基于语言模型进行分布式词向量的训练。它需要大量的语料进行训练,从而找到词与词之间的关系,但是当我们已经训练好了一个word2vec模型之后,数据库中又新流动进来了很多语料,我们应该在怎么办呢?我们不可能又基于所有语料重新训练一遍(当语料过大时,太耗费时间了),这时候,增量训练就派上了用场。 二、word2vec模型的增量训练 impor...
Word2Vec增量训练实现
 在网上找了很久都没有找到Word2Vec增量训练的例子,通过尝试之后,终于实现了增量训练功能。分享出来供大家参考。 环境:     OS: win 10     Python: V3.5.4 核心代码: # coding: utf-8 # Author: chen chong # DateTime: 2018/11/11 15:11 import time import os impor...
Pytorch训练常用方法总结
文章目录写在前面训练过程可视化Pytorch中自动求导和反向传播pytorch中钩子的使用 保存中间变量 写在前面 该篇博客用来记录深度学习训练过程中的小trick 以及常用的容易犯错的内容 持续更新 训练过程可视化 TensorBoardX 记录训练过程 以及训练过程的分析 Pytorch中自动求导和反向传播 1.生成tensor torch.tensor 由于在pytorch 0.4.0 版本...
pytorch学习笔记__神经网络训练
pytorch学习笔记__神经网络训练 1、典型神经网络训练步骤 https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html#sphx-glr-beginner-blitz-cifar10-tutorial-py A typical training procedure for a neural network is as...
pytorch训练代码
pytorch训练代码,就是这样啦,应该是实现imagenet的分类器吧
Pytorch(四)训练模型
1.在前三部分已经分别完成了数据的处理、神经网络的定义,还有优化器、损失函数的选择,这次我们将开始学习如何训练模型。 2.模型的训练其实也是套路,大致分为一下五个部分。 1)加载trainloader中的数据,并将其转换为Variable 形式的数据,作为神经网络的输入。 2)每次循环开始之前,确保梯度的值为0. optimizer.zero_grad() 3)前向传播。也就是将数据f...
pytorch训练之数据加载步骤
本文章以ReID的数据加载为例。 from torch.utils.data import dataset, dataloader from torchvision import transforms 一、建立自定义数据处理方法类:如随机擦除,随机裁剪等 代码: class RandomErasing(object):     def __init__(self,probability=0.5...
pytorch 复现训练结果
最近工作需要,查了一些资料,如何复现训练结果,现做个记录,如有不完整,还请指教 1、设置随机种子 torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) np.random.seed(seed) random.seed(seed) 2、关于cudnn 2.1 torch.backends.cudnn.enabled = Fals...
Pytorch训练模型模版
训练模型一般步骤 目录结构: -- project -- logs -- train.log -- test.log -- models -- model.ckpt -- networks -- vgg.py -- alexnet.py -- src -- main.py -- manager.py -- run.sh main.py #! -*- cod...
pytorch 指定GPU训练
指定GPU代码 上述使用中,代码3最为常用,keras也可以通过这种方式来调用GPU训练神经网络。 # 代码1: torch.cuda.set_device(1) # 代码2: device = torch.device("cuda:1") # 代码3:(官方推荐使用) os.environ["CUDA_VISIBLE_DEVICES"] = '1' (如果你想同时调用两块GPU的话) os...
pytorch训练自己的数据集
将图片放在每类的文件夹下面,接着放一个txt文件 使用img_data = torchvision.datasets.ImageFolder(image_path, transform)
pytorch的多gpu训练
1.多GPU训练,出现out of memory 出现情景:预训练模型是使用gpu0训练得到,然后要在多gpu的服务器上进行微调,使用gpu id为[4,5,6,7],然后出现报错如下: cuda runtime error (2) : out of memory at /pytorch/aten/src/THC/THCTensorRandom.cu:25 错误原因分析:在加载预训练模型的...
pytorch预训练
Pytorch预训练模型以及修改 pytorch中自带几种常用的深度学习网络预训练模型,torchvision.models包中包含alexnet、densenet、inception、resnet、squeezenet、vgg等常用网络结构,并且提供了预训练模型,可通过调用来读取网络结构和预训练模型(模型参数)。往往为了加快学习进度,训练的初期直接加载pretrain模型中预先训练好的参数。加...
pytorch 分布式训练
pytorch 分布式训练 参考文献 https://pytorch.org/tutorials/intermediate/dist_tuto.html demo import os import torch import torch.distributed as dist from torch.multiprocessing import Process def run(rank, size)...
pytorch(五):批训练
import torch import torch.utils.data as Data # 虚构要训练的数据 x = torch.linspace(11, 20, 10) # 在[11, 20]里取出10个间隔相等的数 (torch tensor) y = torch.linspace(20, 11, 10) BATCH_SIZE = 5 # 每批需要训练的数据个数 # 把te...
pytorch训练 (1)FCN
pytorch+显著性检测 mac command+shift+4 数据准备 if __name__ == '__main__': main() #命令行参数可以由此注入 记录两个文件 model.txt #相当于model建立的log opts.txt # record options model=Net(2) FCN32 ...
PyTorch分布式训练
概览 PyTorch 是一个 Python 优先的深度学习框架,能够在强大的 GPU 加速基础上实现张量和动态神经网络。PyTorch的一大优势就是它的动态图计算特性。 License :MIT License 官网:http://pytorch.org/ GitHub:https://github.com/pytorch/pytorch Pytorch 是从Facebook孵化出来的,...
PyTorch预训练
前言最近使用PyTorch感觉妙不可言,有种当初使用Keras的快感,而且速度还不慢。各种设计直接简洁,方便研究,比tensorflow的臃肿好多了。今天让我们来谈谈PyTorch的预训练,主要是自己写代码的经验以及论坛PyTorch Forums上的一些回答的总结整理。微改模型PyTorch中的torchvision里已经有很多常用的模型了,可以直接调用: AlexNet VGG ResNet S
Pytorch训练模版
#! -*- coding: utf-8 -*- import torch import torch.nn as nn import numpy as np from tensorboardX import SummaryWriter import os class Manager(object): def __init__(self, model, args, get_loader)...
Pytorch训练流程图
Pytoch训练流程一 读取图片二 定义模型三 保存模型 一 读取图片 imageFolder and DataLoader DataLoader可自定义,但需实现两个抽象函数,分别是__len__(selft)和__getitem__(self, index) 二 定义模型 # Download and load the pretrained ResNet-18. resnet = mm.re...
PyTorch训练模型小结
平时用了很多Keras,训练的时候非常方便,直接model.fit就可以了。但是PyTorch的训练得自己写,这里小结下PyTorch怎么训练模型。 PyTorch训练的大体步骤 一个标准的PyTorch模型必须得有一个固定结构的类,结构如下 class TwoLayerNet(torch.nn.Module): def __init__(self, D_in, H, D_out): ...
pytorch训练数据
这是自己已经分好的分类,数据可能有点少,因为我跑的时候是CPU,所有如果想要原数据集(3w张图片)的可以在我博客下留下邮箱,有空会发的。
深度学习与PyTorch笔记4
基本数据类型 python PyTorch Int IntTensor of size() float FloatTensor of size() Int array IntTensor of size [d1,d2,…] Float array FloatTensor of size [d1,d2,…] string - - 内部没有自带的表示string的方...
深度学习与PyTorch笔记15
MLP反向传播
深度学习与PyTorch笔记3
简单回归案例 梯度下降算法 迭代,求导,算极值。 x′=x−x∗∗lr x'=x-x^**lr x′=x−x∗∗lr x′x'x′为新值,x∗x^*x∗为梯度(导数),lrlrlr为学习率,设小一点,慢慢的逼近最优解。 梯度下降的求解器,加了约束,导致求解过程变得更快,最优解的精度变高,目前用的最多的有原始版本的sgd,还有rmsprop,以及最常用的Adam。...
《深度学习入门之Pytorch》读书笔记
《深度学习入门之Pytorch》读书笔记 如有错误还请不吝指出 第三章   3.1 Pytorch基础     3.1.1 张量   Tensor 表示的是多维的矩阵 不同数据类型: 32位浮点型 torch.FloatTensor (默认数据类型) 64位浮点型 torch.DoubleTensor 16位整...
深度学习Pytorch/Caffe-GPU环境配置
双系统Ubuntu16.04.06LTS+Nvidia显卡驱动 + Cuda9.0 + CuDNN7.4.2 +Opencv 3.4.6 + Pytorch/Caffe-GPU 目录 一、安装双系统 二、安装显卡驱动 三、安装Cuda9.0 四、安装CuDNN 五、Opencv 3.4.6 六、安装Pytorch 七、安装Caffe-GPU 深度学习环境的搭建比较复杂,重要...
深度学习入门之Pytorch——DenseNet
DenseNet 因为 ResNet 提出了跨层链接的思想,这直接影响了随后出现的卷积网络架构,其中最有名的就是 cvpr 2017 的 best paper,DenseNet。 DenseNet 和 ResNet 不同在于 ResNet 是跨层求和,而 DenseNet 是跨层将特征在通道维度进行拼接,下面可以看看他们两者的图示 第一张图是ResNet,第二张图是DenseNet,因为是在通...
深度学习(七十三)pytorch学习笔记
先吐槽一下,深度学习发展速度真的很快,深度学习框架也在逐步迭代,真的是苦了俺这搞深度学习程序员。本人从三年前开始学深度学习开始,这些深度学习框架也是一个换过一个,从keras、theano、caffe、darknet、tensorflow,最后到现在要开始使用pytorch。一、变量、求导torch.autograd模块默认的variable定义的时候,requires_grad是false,变量...
深度学习与PyTorch笔记11
高阶OP Where torch.where(condition,x,y) Return a tensor of elements selected from either x or y,depending on condition.The operation is defind as: outi={xiif conditioniyiotherwise out_{i} = \be...
深度学习与PyTorch笔记19
全连接层 用nn.linear(ch-in,ch-out)写一个3层全连接层: x#[b,784] layer1=nn.linear(784,200) layer2=nn.linear(200,200) layer3=nn.linear(200,10) x=layer1(x)#[b,200] x=layer2(x)#[b,200] x=layer3(x)#[b,10] 加激活函数(rgb的像素重...
相关热词 c# 标准差 计算 c#siki第五季 c#入门推荐书 c# 解码海康数据流 c# xml的遍历循环 c# 取 查看源码没有的 c#解决高并发 委托 c#日期转化为字符串 c# 显示问号 c# 字典对象池