0条回答 默认 最新
- 2020-12-03 22:57夕小瑶的博客 作者通过实验表明：对于损失与结构而言，“崩溃解”确实存在，但是“stop-gradient”操作对于避免“崩溃解”有非常重要的作用。作者提出了一种新颖的“stop-gradient”思想并通过实验对其进行了验证，该文所提...
- 2021-01-19 17:04just do it now的博客 此外，这是篇来自FAIR（Facebook AI 研究院）的论文，而 FAIR 论文，总给我一种朴实无华但又干货满满的感觉。 首先这篇论文，标题说研究孪生网络，但其实和最近很火的对比学习（Contrastive Learning）息息相关。...
- 2025-09-14 17:29nju_spy的博客 本文深入精读BYOL、SimSiam、MoCo-v3及DINO等里程碑式论文，剖析了“停止梯度”（Stop-Gradient）、自蒸馏（Self-Distillation）等核心机制的工作原理。我们将探讨Batch Normalization是否扮演了“隐式负样本”的...
- 2024-04-20 14:5300000cj的博客 本文提出了一种新的自监督学习方法，Bootstrap Your Own Latent（BYOL），和以往需要大量负样本的对比学习方法如SimCLR不同，BYOL不依赖于负样本对。此外，和之前需要精心设计增强策略的对比方法相比，BYOL对图像...
- 2025-12-16 03:10人机与认知实验室的博客 JEPA 的哲学是：我们应该像 MAE 一样做「完形填空」（掩码），但我们不应该预测「像素」（太低级），而应该像 SimCLR 一样，在「抽象特征空间」里进行预测。具体来说，模型的目标是「预测」目标块的特征。
- 2020-11-30 22:04AI之路的博客 论文：Bootstrap your own latent A new approach to...BYOL发表于NIPS2020，个人觉得是非常棒的一个工作，相信对未来的自监督领域发展会有较大的借鉴意义。 在讲这篇论文之前，先从自监督训练的崩塌问题开始说起。我们
- 2025-04-30 09:51Christo3的博客 论文提出了一种简单而有效的无...SimSiam通过最大化同一图像的两个增强视图之间的相似性来学习表示，同时通过 stop-gradient（停止梯度）操作避免表示崩塌（collapsing solutions），从而实现简单且高效的无监督学习。S
- scenenight的博客 BYOL通过设计特定的预测头（Predictor）和停止梯度（Stop-gradient）机制，避免了崩塌问题的发生。 传统对比学习方法中的负样本： 在传统对比学习方法中，例如SimCLR和MoCo，它们依赖大量的负样本对来区分不同图像的...
- 2021-02-22 13:22PaperWeekly的博客 出自 DeepMind的 NIPS20’的Bootstrap Your Own Latent（BYOL），BYOL 认为之前的方法都基于 negative pairs，而它们很大程度上取决于图像增强的选择，所以为什么不直接从图像增强视角出发呢？框架图如下： 没有 ...
- 2025-12-09 23:15程序员光剑的博客 编码器 (Encoder) 定义：编码器是对比学习中的核心组件，通常是一个深度神经网络（如CNN、Transformer），其作用是将原始输入数据（如图像、文本）映射到一个低维的嵌入向量空间，生成具有判别性的特征表示。...
- 2020-12-24 12:37PaperWeekly的博客 现在，在「知乎」也能找到我们了 进入知乎首页搜索「PaperWeekly」 点击「关注」订阅我们的专栏吧 关于PaperWeekly PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI...
- 2024-02-18 21:10__如果的博客 总结： 通过CNN把所有图片编码成特征，希望这些特征在最后的特征空间里能够尽可能的分开 利用对比学习训练CNN，正样本是图片本身(可能加一些数据增强)，负样本则是数据集中其他图片 大量的负样本特征存在哪呢？...
- 2025-07-30 21:43AGI大模型与大数据研究院的博客 如何在缺乏人工标注的情况下，学习数据中蕴含的有意义结构与语义信息。表征质量维度相似性度量：如何定义样本间的"相似"与"不相似"不变性学习：学习对无关变换（视角、光照、背景等）具有不变性的表征判别性：表征应...
- 2021-12-29 11:05kaiyuan_sjtu的博客 这可能是我今年最后一次看paper了。于是我选择了躺在我文件夹里两周之久的一篇文章，由清华和商汤出品[1]：当时我在Arxiv上一眼就相中了它，但我却迟迟没开始看，一是因为快年终了事情比较...
- 2025-08-03 14:52AI架构师小马的博客 在AI工业化落地中，“数据标注成本”与“模型泛化需求”始终是一对核心矛盾。据Gartner统计，2023年企业AI项目中因数据标注不足导致延期的比例高达42%，而高质量标注数据集的成本往往占项目总投入的60%以上。对比...
- 2020-12-09 11:00风度78的博客 self-supervised-contrastive-learning.html 往期精彩回顾 适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑 AI基础下载...
- 2022-08-15 18:58Pengsen Ma的博客 作者在对比实验后提出，stop-gradient 才是避免模型坍缩的关键，如果不使用 stop gradient，那么不论如何变换模型，都会得到捷径解，即模型输出常数，损失函数达到理论的最小值。作者提出假设， SimSiam 的实现是类...
- 2024-10-03 09:15scenenight的博客 因此，本文提出的 SimSiam 是在此背景下进行的研究，它通过取消负样本和动量编码器，利用简单的 Siamese 网络和 停止梯度（stop-gradient） 操作，来实现无监督的表示学习，并取得了有竞争力的结果。 这篇论文的...
- 2021-10-24 12:58bnuwangxun的博客 从一开始的新奇兴奋地看着Arxiv上新发布的SSL方法（像MoCo, SwAV, BYOL, SimSiam等这些方法着实有趣），但是有一些相关的文章多少有些泛滥了，让人有些眼花缭乱。 最近FAIR的一个工作，着实让我眼前一亮，觉得好...
- 2025-03-07 15:06快撑死的鱼的博客 它巧妙地在无标签数据和有标签数据之间架起了一座桥梁，旨在从海量的无标签数据中学习到有意义的表征（representations），这些表征可以被高效地迁移到各种下游任务中，从而显著减少对昂贵的人工标注数据的依赖。
- 没有解决我的问题, 去提问
问题事件
系统已结题
12月9日
修改了问题
12月1日-
创建了问题
12月1日