我的网络输入是和标签都是单通道的灰度图，但是输入图片中有一些点，比如像素值=0或者255的无效点，（这些无效点在gt中有的有对应的值，有的也为0）我想在训练过程中把这些点屏蔽掉以免影响网络的精度，该如何操作？
是否有办法将一个张量中的指定数据比如为0或者255的数据取消其梯度，禁止其反向传播？
1条回答 默认 最新
影醉阏轩窗 2021-04-13 09:26关注1. pytorch应该有某些跟踪机制可以完成你的要求，这我不是很了解。
2. 常规做法，定义一个mask用来记录Index，让其输出对应位置为0，也就是反向梯度为0.
解决 无用评论 打赏举报
分享
- 2022-06-07 22:17回答 2 已采纳 替换成其他激活函数理论上是可以的，不过也有可能无法收敛，最好是高次的非线性函数，这样才好拟合 pytorch实现的话，参考李沐老师的系列教程应该就差不多了： 10 多层感
- 2023-03-02 15:28回答 2 已采纳 通常遇到OOM(out of memory)问题, 只有两种解决方案, 降低您网络训练时的batchsize, 或者选用更小的网络. 看到您这里用的resnet50, 8Gmemory够用了, 您可以
- 2021-09-08 09:35回答 1 已采纳 gan生成对抗网络，不过这个是最早的网络，现在已经发展出一些其他的网络了
- 2022-11-23 23:33晨哥是个好演员的博客 本次学习了如何优化神经网络，要优化首先要去分析模型的样子，需要了解critical point有两种可能，分别是saddle point和local point，了解到batch-size这个超参数的大小对训练的影响以及优化器的选择。分类任务更...
- 2023-03-06 18:30回答 2 已采纳 这是由于PyTorch已经将nn.init.xavier_uniform函数废弃，并推荐使用nn.init.xavier_uniform_函数。这个警告并不会导致网络出现错误，但是在训练神经网络时可能
- 2022-03-08 10:24回答 2 已采纳 work number设置到cpu最大核心数，batch size 搞大点，你的显存才用了2G，还有那么多呢，不过显卡利用率低很正常，又不是挖矿，显卡很多时候要等硬盘或者内存读取信息呢。你把这里换成c
- 2021-09-15 17:48回答 1 已采纳 看这里：https://zhuanlan.zhihu.com/p/38056115
- 2024-06-14 09:21脱泥不tony的博客 pack_padded_sequence 技术的应用#squeeze(0)的作用是将张量中维度大小为1的维度进行压缩，减少张量的维度数量和大小。#如果张量中没有维度大小为1的维度，那么squeeze(0)函数不会对张量进行任何修改，它会返回与...
- 2022-04-26 09:27回答 2 已采纳 没有方法，只能 device = device = torch.device('cuda',0) # 在后续的 torch.Tensor 和 torch.nn.Module 后 添加 to(devic
- 2023-02-18 15:36回答 2 已采纳 基于Monster 组和GPT的调写：使用torch.cuda.empty_cache()函数手动释放显存。如果想要在每个epoch的训练结束后释放训练集显存，可以在每个epoch结束时调用该函数。
- 2021-12-23 10:25回答 1 已采纳 特征工程处理方法的话主要是特征清洗和特征预处理特征清洗主要是针对特征是否有缺失值、数据标签失衡的一些大问题，你可以进行删增之类的。特征预处理主要有对特征进行归一化(这个十分重要，特别是你数据高度稀疏的
- 2022-07-13 15:30Interesting AI的博客 机器学习：神经网络训练无效果的原因分析
- 2023-03-01 09:04回答 3 已采纳 这篇博客: 神经网络训练技巧中的 3 epoch 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读: 当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一次epoch
- 2020-06-29 01:58枇杷鹭的博客 最近在跑一个项目，计算loss时用了很普通的MSE，在训练了10到300个batch时，会出现loss tensor([[nan nan nan nan]]类似的情况。对这个异常的loss进行梯度下降，会导致net的输出变为nan。在网上查了解决方案，都不...
- 2021-12-06 00:24ZOMI酱的博客 通常我们训练神经网络模型的时候默认使用的数据类型为单精度FP32。近年来，为了加快训练时间、减少网络训练时候所占用的内存，并且保存训练出来的模型精度持平的条件下，业界提出越来越多的混合精度训练的方法。这里...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 python怎么在已有视频文件后添加新帧
- ¥20 虚幻UE引擎如何让多个同一个蓝图的NPC执行一样的动画,
- ¥15 fluent里模拟降膜反应的UDF编写
- ¥15 MYSQL 多表拼接link
- ¥15 关于某款2.13寸墨水屏的问题
- ¥15 obsidian的中文层级自动编号
- ¥15 同一个网口一个电脑连接有网，另一个电脑连接没网
- ¥15 神经网络模型一直不能上GPU
- ¥15 pyqt怎么把滑块和输入框相互绑定，求解决！
- ¥20 wpf datagrid单元闪烁效果失灵