目标计数模型训练过程中的问题

Question

1.验证集中对每张图片的预测通常是类似的结果，之间相差不超过1，而且通常是小数点后面的差异，有时候完全一样，甚至在之后的每个epoch结果都类似。检查过梯度，没出现消失或者是爆炸。
2.同样的现象也出现在评估指标MAE和RMSE。训练集MAE和RMSE，虽说不好，但有明显变化，验证集的MAE和RMSE也基本不变，情况同1。
3.预测出的结果常常是负数或0，也基本都出现在验证集。训练集很少出现负数的结果。
4.baseline没问题，加入的模块是别人的论文提供的github官方代码里面的(学术裁缝，研一刚接触还在摸索），除了通道等参数外，结构没有改变。里面涉及到激活函数，用ReLU（本来的）的话，结果就成全0张量了（ReLU之前的结果就是全负数张量），预测结果也会是0.用Sigmod的话，就有变成了1中所述的问题。我的数据，在别人的模型中用哪个模块处理出来就没问题(不是负数，不是全0)，最后的预测结果也还不错。到我这就不行。已经试了好多了，也改过网络架构，但都是这个情况。某些模块的处理之后，结果全是0或负数。导致最后的预测结果也有问题。

总的来说，预测结果要么是负数，要么是0，而且不怎么变化，且绝大部分情况出现在验证集上。希望大家能谈谈自己的经验，我已经问过GPT,KIMI,豆包，deepseek，Grok2了，没有效果。我要求都不高，不求结果多好，起码正常一点吧。

Answer 1

阿里嘎多学长整理AIGC生成，因移动端显示问题导致当前答案未能完全显示，请使用PC端查看更加详细的解答过程

目标计数模型训练过程中的问题

你遇到的问题是，验证集中每张图片的预测结果相似，通常只有一些小的差异（小数点后面的差异），并且在每个 epoch 中结果基本相似。这可能是因为模型已经很好地拟合了训练数据中的 Pattern，这导致模型在验证集上也能够获得相似的结果。

以下是一些可能的原因：

• 模型已经过拟合（overfitting），导致模型不能泛化到新的数据上。
• 训练数据中的 Pattern 对于模型来说太强调了，使得模型对其中的 Patterns 特别敏感。
• 模型参数更新的学习率太高或太低，导致模型不稳定。

可以尝试以下解决方案：

• 增加训练数据的-diversity，来避免模型过拟合。
• 添加regularization项，例如L1或者L2正则化，来避免模型过拟合。
• ajust learning rate，或者使用更 sophisticated的学习率 scheduler。
• 也可以尝试使用其他 architectural changes，例如使用更 complex的网络结构，或者使用 attention mechanism 等。

如果你对上述原因和解决方案有疑问，可以提供更多的细节和信息，我将尽力帮助你。