yolov5分割标签和原理

Question

为什么yolov5做分割，输入的是要分割的目标的一系列的坐标点，最后模型可以学习到将完整的目标给分割出来。也就是输入的是一系列坐标而不是逐像素点的分割图，却能实现分割效果，而不是同样输出一系列的坐标点，再使用opencv通过模型预测的一系列坐标点进行抠图实现分割。
我的猜测难道是，当初模型在输入的时候，就通过这一系列的坐标点分割出目标作为标签进行训练了吗？
感谢各位师兄分析一下。
分享一张用vgg19做的风格迁移

Answer 1

引自免费微信小程序：皆我百晓生

在解决"Yolov5分割标签和原理"与"Baidu L深度学习服 191997"之间的问题时，我们可以从以下几个方面探讨：

1. 目标检测： Yolov5是基于卷积神经网络（CNN）架构的主流目标检测器之一。其工作流程包括：首先，将图像输入预处理阶段，即标准化、归一化等步骤，然后对图像进行特征提取，如局部二值化、RGB编码、灰度编码等，以便后续的特征匹配和分类。

   • 在特征提取过程中，Yolov5通过一系列的卷积层（如Convolutional Neural Networks, CNNs）对图像进行降维和抽象，这一步通常采用双线性变换，比如线性平移、旋转、缩放等，从而获取图像的特征表示。

   • 在激活函数上，Yolov5通常选择ReLU（Rectified Linear Unit），它可以提高网络的非线性表达能力和收敛速度。

   • 在分类部分，Yolov5采用Inception模块（Convolutional Inception Module，CIM）或者YOLOv4-V3两版本的融合，其中YOLOv4-V3具有更快的识别速度，主要针对移动设备或网络带宽有限的场景。

2. 目标分割： YOLOv5对每个定位区域（bounding box）内的像素点分别执行单个预测，计算并输出各个类别的概率得分。具体步骤如下：

   a. 对输入的图像序列进行分块处理，例如水平分割、垂直分割、平行分割等，每次划分的大小一般为2×2、4×4、8×8等。

   b. 计算每个区域的概率分布，这些概率分布可能包括背景概率、目标概率、边缘概率等。

   c. 对每个区域应用softmax激活函数对概率分布求和，并将结果转换成对应类别向量（label），这个过程也被称为概率最大化的反向传播算法（Backpropagation Through Time）。

   d. 根据以上概率分布计算目标区域边界框的边界框概率，利用结构金字塔填充（Structural Pyramid Pooling）或SPP（Self-Attention Pooling）等技术，构建候选边界框。

   e. 使用合适的检测算法（如Selective Search或Region Proposal Network，RPN）选择最优的边界框作为最终分割结果。

3. 预测距离和尺度回归： YOLOv5支持多个级别的预测精度评估，主要包括预测的精确度（TP、FP、FN）、召回率（recall）、F1分数（F1 score）以及WSS（weighted sum of squares，权重平方和）。对于一个特定标签，根据实际情况，可选择适用于不同级别的准确性指标来评估模型的表现。

   • 预测距离（Precision@k）是指当前类别包含所有k个观测的样本中被正确预测的类别数量占所有类别的比例；
   • 预测距离（Recall@k）是指当前类别包含所有k个观测的样本中被正确预测的类别数量占所有类别的比例；
   • F1分数综合了精确度和召回率，它等于Precision@2乘以Recall@2减去False Positive Rate (FPR)；
   • WSS（weighted sum of squares）是指预测距离与最小真例距离之间的平方差，衡量模型预测准确性对真实数据的重要性。

4. 标签生成： 当模型完成分割后，Yolov5会通过神经网络生成对应的边界框标签。为了确保每个标注框都能清晰反映目标对象的位置信息，通常会采用以下几种方法：

   • 优先级分类： 将前景低亮（注释/阴影）的区域分配较高的优先级，使其得到更多的关注和突出显示。

   • 邻域填充： 在重要的边界框周围，填充与背景颜色相似的邻近像素，使得每个边界框周围的区域都被正确地标记。

   • 删除未标识的边界框： 在某些情况下，去除一些无意义或者没有足够标记的边缘边界框，保证分割后的图像具有准确性和一致性。

5. 训练参数优化： 实现高质量的模型分割往往涉及到复杂的模型设计、损失函数设置、优化策略选择等多个因素。通常，可以使用梯度下降法或者其他优化算法（如Adam、Adagrad等）对模型的损失函数和超参数进行调整，以获得最佳的分割性能。

   • 对于特征提取，可以尝试不同的卷积核尺寸、步长、批次大小等参数组合，观察其对分割效果的影响；

   • 对于分类器的参数，如 Learning Rate、Dropout rate 等，应根据实际测试结果进行动态调整，以平衡分类精度和准确性；

   • 利用交叉验证、网格搜索等方式寻找最优的模型参数组合，避免过拟合或欠拟合的情况。

综上所述，Yolov5之所以能够实现广泛且高效的目标分割任务，得益于其跨类别检测的能力、稳健的特征提取和强大的分类器算法，以及有效的人工干预措施，如预先定义的预测距离阈值和尺度回归规则等。通过上述方法，模型能够获取更准确和完整的像素点标签，进而实现目标对象的有效分割。当然，具体的实现细节可能因应用场景和实验环境的不同而有所差异，但核心的思想与实现机制大体相近。