当前一些SOTA算法精度高,但是网络模型太大,无法部署在一些嵌入式设备上,现在有哪些模型压缩和加速的方法呢?
码龄 粉丝数 原力等级 --
- 被采纳
- 被点赞
- 采纳率
神经网络模型的压缩和加速都有哪些方法?
收起
- 写回答
- 好问题 0 提建议
- 关注问题
- 微信扫一扫点击复制链接分享
- 邀请回答
- 编辑 收藏 删除 结题
- 收藏 举报
2条回答 默认 最新
- 关注关注
码龄 粉丝数 原力等级 --
- 被采纳
- 被点赞
- 采纳率
神经网络模型的压缩与加速方法,从大的方面来讲一共有七类,分别是:参数剪枝、参数量化、紧凑网络、知识蒸馏、低秩分解、参数共享和混合方式。下面分别简单阐述一下:
(1) 参数剪枝是指在预训练好的大型模型的基础上,设计对网络参数的评价准则,以此为根据删除“冗余”参数.
(2) 参数量化是指用较低位宽表示典型的 32 位浮点网络参数,网络参数包括权重、激活值、梯度和误差等等,可以使用统一的位宽(如 16-bit、8-bit、2-bit 和 1-bit 等),也可以根据经验或一定策略自由组合不同的位宽。
(3) 低秩分解是指通过合并维数和施加低秩约束的方式稀疏化卷积核矩阵,由于权值向量大多分布在低秩子空间,所以可以用少数的基向量来重构卷积核矩阵,达到缩小存储空间的目的。
(4) 参数共享是指利用结构化矩阵或聚类等方法映射网络参数,减少参数数量.参数共享方法的原理与参数剪枝类似,都是利用参数存在大量冗余的特点,目的都是为了减少参数数量.
(5) 设计更紧凑的新型网络结构,是一种新兴的网络压缩与加速理念,构造特殊结构的 filter、网络层甚至网络,从头训练,获得适宜部署到移动平台等资源有限设备的网络性能,不再需要像参数压缩类方法那样专门存储预训练模型,也不需要通过微调来提升性能,降低了时间成本,具有存储量小、计算量低和网络性能好的特点.
(6) 知识蒸馏最早由 Buciluǎ 等人提出,用以训练带有伪数据标记的强分类器的压缩模型和复制原始分类器的输出.与其他压缩与加速方法只使用需要被压缩的目标网络不同,知识蒸馏法需要两种类型的网络:教师模型和学生模型.
(7)以上这些压缩与加速方法单独使用时能够获得很好的效果,但也都存在各自的局限性,组合使用可使它们互为补充
本回答被题主选为最佳回答 , 对您是否有帮助呢? 本回答被专家选为最佳回答 , 对您是否有帮助呢? 本回答被题主和专家选为最佳回答 , 对您是否有帮助呢?解决 1无用举报微信扫一扫点击复制链接分享编辑预览轻敲空格完成输入- 显示为
- 卡片
- 标题
- 链接
评论按下Enter换行,Ctrl+Enter发表内容
- 显示为
- 卡片
- 标题
- 链接
报告相同问题?
- 2022-04-06 02:05回答 2 已采纳 模型就是一堆参数,可以理解为算法中的变量;算法是一堆数学公式,这些公式使用模型中的参数作为变量值来进行计算,以达到预测或分类功能。算法分为训练和预测两个部分,训练算法用训练数据来构建模型,预测算法用模
- 2022-09-06 02:13回答 2 已采纳 1 考虑换一种学习率 schedule2 在 DataLoader 中使用多个 worker 和页锁定内存3 把 batch 调到最大4 使用自动混合精度(AMP)5 考虑使用另一种优化器6 cudN
- 2021-12-23 02:25回答 1 已采纳 特征工程处理方法的话主要是特征清洗和特征预处理特征清洗主要是针对特征是否有缺失值、数据标签失衡的一些大问题,你可以进行删增之类的。特征预处理主要有对特征进行归一化(这个十分重要,特别是你数据高度稀疏的
- 2022-06-29 09:08### 深度神经网络模型压缩和加速方法 #### 一、研究背景 自上世纪末以来,神经网络技术已经在图像识别等领域取得了显著成果。随着深度学习概念的提出及其在ImageNet竞赛中的应用,大规模深度神经网络(DNN)模型...
- 2020-03-11 14:00回答 1 已采纳 Fine-tune, 多任务学习, zero-shot学习, 持续学习
- 2021-06-09 02:53回答 2 已采纳 这个需要建立字典封装起来
- 回答 1 已采纳 https://arxiv.org/abs/2106.11483
- 2018-04-23 16:00PaperWeekly的博客 在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果。点击本文底部...
- 2023-02-08 15:54回答 3 已采纳 如果你想学习人工智能,初学者应该先从数据库方面入手,因为数据库是人工智能的基础。数据库是保存数据的重要工具,它可以帮助人们更好地整理、管理和分析数据,从而有效地为人工智能应用程序提供所需的信息。另外,
- 2021-04-11 09:39回答 3 已采纳 input_shape=(7787,)这里是不是少了一个参数
- 2022-06-09 15:27回答 5 已采纳 输出层线性激活函数的话,预测结果为[1,0]
- 2017-11-04 01:23老司机的诗和远方的博客 “本文介绍的论文全面概述了深度神经网络的压缩方法,主要可分为参数修剪与共享、低秩分解、迁移/压缩卷积滤波器和知识精炼,本论文对每一类方法的性能、相关应用、优势和缺陷等进行独到的分析。” 大型...
- 2021-12-17 07:07心之所向521的博客 深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型,在不影响任务完成度的情况下,得到参数量更少、结构更精简的模型.被压缩后的模型计算资源需求和内存需求更小,相比 原始模型能够...
- 2020-08-22 16:22深度神经网络模型压缩是当前人工智能领域的一个重要研究方向,它主要针对深度学习模型中存在的计算量大、存储需求高以及模型复杂性等问题。随着深度学习在图像识别、自然语言处理、语音识别等多个领域的广泛应用,对...
- 2024-03-31 16:46AI架构设计之禅的博客 神经网络模型压缩与加速技巧 作者:禅与计算机程序设计艺术 1. 背景介绍 随着深度学习技术的飞速发展,神经网络模型的规模和复杂度也在不断增加。大型神经网络模型通常需要大量的计算资源和存储空间,这给实际部署和...
- 没有解决我的问题, 去提问
- 京ICP备19004658号
- 经营性网站备案信息
- 公安备案号11010502030143
- 营业执照
- 北京互联网违法和不良信息举报中心
- 家长监护
- 中国互联网举报中心
- 网络110报警服务
- Chrome商店下载
- 账号管理规范
- 版权与免责声明
- 版权申诉
- 出版物许可证
- ©1999-2025北京创新乐知网络技术有限公司