多任务学习的文章解读Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics

Question

论文是：[CVPR 2018]Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics
想要提问的论文和代码在这个链接上：https://github.com/ranandalon/mtl
想问的是，文章里的观测噪声参数 σ （observation noise scalar σ）和模型的输入输出标签有什么关系，它在代码实现了里究竟是怎么更新的。

Answer 1

让阿豪来帮你解答，本回答参考chatgpt3.5编写提供，如果还有疑问可以评论或留言

在论文中，观测噪声参数σ(observation noise scalar σ)是用来权衡不同损失函数的，根据作者的说法，对于不同的任务和不同的标签，可以使用不同的σ。在模型中，观测噪声参数σ通过直接作用于损失函数中的真实标签和预测标签之间的差距来实现，可以看作是用来调整每个任务的损失函数权重的一个超参数。 在代码实现中，观测噪声参数σ是通过从命令行参数中读取或者直接赋值的方式进行设置的，具体可参考代码中的config.py和train.py文件。在训练过程中，每个任务的损失函数中都会加入观测噪声参数σ进行调整，例如在train_semantics.py中的代码片段：

def forward(self, x, labels=None, training=True):
  # ...
  if labels is not None and self._sigma is not None:
    # add observation noise to gt label
    obs_sigma = self._sigma / 10
    labels = labels + (torch.randn_like(labels) * obs_sigma)
  # ...

可以看到，在标签不为空且观测噪声参数σ不为空的情况下，作者通过在真实标签上加入一个随机噪声来模拟图像相关噪声，实现权衡不同任务的损失函数。