为什么都说relu函数可以防止梯度爆炸，反向传播求偏导存在误差累加和累乘的情况，如果relu为正求导为1，然后累加，多次后不就会导致权重更新过剧烈吗
0条回答 默认 最新
- 2024-02-24 20:47-_Matrix_-的博客 综上所述，尽管Sigmoid函数在过去被广泛应用于神经网络中，但随着深度学习的发展，人们更倾向于使用其他激活函数，如ReLU及其变种，因为它们能够缓解梯度消失问题并提供更好的性能。综上所述，尽管Tanh函数具有一些...
- 2022-03-15 15:28AI小男孩的博客 神经网络量化入门系列第七篇：激活函数
- 2018-06-25 18:05AI算法网奇的博客 神经网络常用激活函数及其应用举例2017年07月27日 23:44:53阅读数：1843神经网络中数据从数据层到最后输出层的流动过程其实就是数据从一种形态到另一种形态，从一个维度到另一个维度的变换过程，例如在Minst数据集...
- 2024-11-06 21:49caridle的博客 激活函数（phi()）也称为转移函数或阈值函数。它从净输入函数的给定值（sum）...在C++中，你可以创建自己的AI激活函数。注意，“sum”是净输入函数的结果，它计算所有加权信号的和。我们将使用sum作为输入函数的结果。
- 2025-06-12 19:07AI开发架构师的博客 随着人工智能技术在企业级场景（如金融风控、智能客服）的普及，开发者需要兼顾“AI模型效果”与“系统稳定性”。Java作为企业级开发的“顶梁柱”，凭借其跨平台、高并发和强类型特性，逐渐成为AI落地的重要选择。而...
- 2025-01-10 12:51ElemenX-king的博客 但是该项目只设计了卷积核以及激活函数，因为在后续开发的过程中发现，使用传统的CNN网络在综合时会消耗很多资源，因此后续会考虑更换更加轻量级的Mobilenet V2网络。卷积神经网络（Convolutional Neural Network, ...
- 2023-07-28 17:48无水先生的博客 让我们通过在C++中实现激活函数来获得乐趣。人工神经网络是生物启发模型的一个例子。在人工神经网络中，称为神经元的处理单元被分组在计算层中，通常用于执行模式识别任务。
- 2026-03-04 00:48光子AI的博客 项目概述构建一个基于AI的虚拟世界经济模拟平台，用于测试经济政策、训练交易算法和研究市场动态。平台支持数千个智能体同时参与经济活动，实时模拟复杂的市场交互。核心功能多智能体经济决策模拟实时市场交易引擎...
- 2025-09-30 09:48w3x4y的博客 本文深入分析了在PyTorch中从L1Loss切换到MSELoss时常见的RuntimeError: Found dtype Double but expected Float类型错误。文章指出，该问题源于MSELoss内部实现（特别是平方操作）对数据类型一致性要求更严格，而...
- 2026-03-22 00:16amy_mhd的博客 首先阐述了DSA（领域专用架构）的设计哲学，重点分析了三大核心指令类别：矩阵运算指令（如MATMUL、CONV2D）、激活函数指令（如RELU、SIGMOID）和数据搬运指令（如DMA_LOAD）。通过伪代码示例展示了指令级优化策略，...
- 2025-07-10 22:52AIGC应用创新大全的博客 本报告系统解析基于同态加密的AI模型训练新范式，覆盖从理论基础到工程实践的全生命周期。首先通过第一性原理推导同态加密的数学本质，对比传统隐私保护技术的局限性；其次构建“加密-训练-解密”全流程架构模型，...
- 2026-02-09 09:51Asher技术站的博客 Bitsandbytes是一种深度学习模型量化技术，它通过将模型的权重和激活从传统的32位浮点数转换为更低位宽的表示，例如8位或4位整数，来达到减小模型大小和加速推理的目的。适当的权重和偏置值有助于模型捕捉数据中的...
- 2026-03-21 05:18flyair_China的博客 注意力分数融合：Ai=Concat(Attention(qi(0),Klocal(0),Vlocal(0)),Attention(qi(0),Kglobal(1),Vglobal(1)))。解决方案：分层存储。稀疏注意力公式：Aij=∑l:(i,l)∈Sexp(dkqi⊤kl+...
- 2025-12-03 12:04FastSolve的博客 掌握TinyML的C语言激活函数实现技巧，解决嵌入式AI部署中的资源受限难题。适用于微控制器等低功耗场景，提供轻量级、高效率的神经网络激活函数代码方案。优化内存占用与运算速度，提升模型推理性能。嵌入式开发者...
- 2025-09-03 16:53AI架构全栈开发实战笔记的博客 【AI应用架构师必备】深度强化学习落地实战：从算法到生产系统全流程解析 副标题：基于Python、PyTorch与Kubernetes的工程化实践 摘要/引言 问题陈述：深度强化学习（Deep Reinforcement Learning, DRL）在游戏（如...
- 2024-12-03 22:58ZOMI酱的博客 某些加速器有专用格式来表示神经网络，如 ARM Ethos-N 和 Xilinx Vitis AI，为了满足这种需求，该框架提供了一组统一的 API 来定制序列化的代码格式：1）将生成的代码编译和序列化为一个 bit 流，以便其可以与其他子...
- 2025-10-04 04:13lambda的博客 本文提供了PyTorch自定义损失函数的完整实现指南，涵盖从理论公式推导到CUDA加速的实践。文章深入解析了继承Function、Module及函数式编程三种实现范式的差异与适用场景，并重点讲解了梯度验证、数值稳定性处理等...
- 2025-12-05 00:47无形小手的博客 本教程围绕“Java实现人工智能代码”展开，系统介绍如何使用Java进行机器学习、深度学习和自然语言处理等AI任务。通过集成Weka、Deeplearning4j、Stanford CoreNLP、Apache Commons Math等主流工具库，结合...
- 没有解决我的问题, 去提问
问题事件
系统已结题
4月19日
创建了问题
4月11日