CVC14数据集标注格式不兼容如何解决？

Question

CVC14数据集常用于息肉检测任务，其标注格式通常为XML或自定义边界框文件，但与主流深度学习框架（如YOLO、Mask R-CNN）所需的COCO或VOC格式不兼容，导致训练失败。常见问题是坐标格式不一致、类别标签未映射、缺少图像元信息等。如何将CVC14的原始标注高效转换为COCO或Pascal VOC格式，并确保边界框坐标、图像尺寸和类别索引正确对齐？这是实际项目中亟需解决的关键预处理难题。

Answer 1

一、CVC14数据集标注格式转换的技术挑战与解决方案

1. 背景与问题定义

CVC14数据集广泛应用于医学图像中的息肉检测任务，其原始标注通常以XML或自定义文本文件形式存储。然而，主流深度学习框架如YOLOv5/v8、Mask R-CNN等依赖于标准数据格式（如COCO或Pascal VOC），导致直接使用CVC14原始数据训练模型时出现兼容性问题。

主要障碍包括：

• 坐标系统不一致（例如：左上角坐标 vs 中心点+宽高）
• 类别标签未映射为整数索引
• 缺少图像元信息（分辨率、通道数、文件路径）
• 边界框越界或尺寸异常
• 标注文件命名与图像文件不匹配

2. 数据结构分析与解析流程

首先需明确CVC14的标注结构。假设其采用XML格式，典型内容如下：

<annotation>
  <filename>case1.png</filename>
  <size>
    <width>384</width>
    <height>288</height>
  </size>
  <object>
    <name>polyp</name>
    <bndbox>
      <xmin>100</xmin>
      <ymin>80</ymin>
      <xmax>200</xmax>
      <ymax>180</ymax>
    </bndbox>
  </object>
</annotation>

该结构已接近VOC格式，但需程序化提取并统一输出为标准格式。以下是解析流程图：

graph TD A[读取CVC14 XML文件] --> B{是否存在object节点?} B -- 是 --> C[提取filename, size, bndbox] B -- 否 --> D[跳过空标注] C --> E[验证图像文件是否存在] E --> F[归一化坐标或保持像素坐标] F --> G[映射类别名到ID] G --> H[写入目标格式文件]

3. 格式转换策略对比

格式	文件结构	坐标表示	适用框架	转换复杂度
Pascal VOC	每个图像对应一个XML	[xmin, ymin, xmax, ymax]	Faster R-CNN, SSD	低
COCO	单个JSON包含所有数据	[x, y, width, height]	Mask R-CNN, DETR	中高
YOLO	每图一个txt，每行: cls x_c y_c w h (归一化)	中心点+宽高（归一化）	YOLO系列	中
CVC14原生	XML或txt边界框	通常为[x,y,w,h]或两点坐标	专用工具	N/A

4. 实现代码示例：CVC14 → Pascal VOC

以下Python脚本实现从CVC14 XML到VOC XML的转换：

import os
import xml.etree.ElementTree as ET
from pathlib import Path

def convert_cvc14_to_voc(cvc_dir, output_dir, image_dir):
    os.makedirs(output_dir, exist_ok=True)
    label_map = {"polyp": 0}  # 可扩展多类
    
    for xml_file in Path(cvc_dir).glob("*.xml"):
        tree = ET.parse(xml_file)
        root = tree.getroot()
        
        voc_root = ET.Element("annotation")
        ET.SubElement(voc_root, "filename").text = root.find("filename").text
        
        size = ET.SubElement(voc_root, "size")
        img_width = int(root.find("size/width").text)
        img_height = int(root.find("size/height").text)
        ET.SubElement(size, "width").text = str(img_width)
        ET.SubElement(size, "height").text = str(img_height)
        ET.SubElement(size, "depth").text = "3"
        
        for obj in root.findall("object"):
            name = obj.find("name").text.lower()
            if name not in label_map:
                continue
                
            bbox = obj.find("bndbox")
            xmin = int(bbox.find("xmin").text)
            ymin = int(bbox.find("ymin").text)
            xmax = int(bbox.find("xmax").text)
            ymax = int(bbox.find("ymax").text)
            
            # 坐标校验
            assert 0 <= xmin < xmax <= img_width, f"Invalid x coords in {xml_file}"
            assert 0 <= ymin < ymax <= img_height, f"Invalid y coords in {xml_file}"
            
            item = ET.SubElement(voc_root, "object")
            ET.SubElement(item, "name").text = name
            bndbox = ET.SubElement(item, "bndbox")
            ET.SubElement(bndbox, "xmin").text = str(xmin)
            ET.SubElement(bndbox, "ymin").text = str(ymin)
            ET.SubElement(bndbox, "xmax").text = str(xmax)
            ET.SubElement(bndbox, "ymax").text = str(ymax)
        
        output_path = os.path.join(output_dir, xml_file.name)
        ET.ElementTree(voc_root).write(output_path, encoding="utf-8", xml_declaration=True)

# 使用示例
convert_cvc14_to_voc("data/cvc14/annotations", "data/voc/annotations", "data/images")

5. CVC14 → COCO格式转换关键步骤

COCO格式为单一JSON文件，需聚合所有图像与标注。核心字段包括images、annotations、categories。

1. 遍历所有图像文件，生成images列表（含id、file_name、width、height）
2. 为每个边界框创建annotation条目，包含bbox（x,y,w,h）、category_id、image_id
3. 定义categories数组，确保名称与ID一致
4. 处理图像ID与标注ID的唯一性（通常用全局递增计数器）
5. 输出最终JSON结构，并进行schema验证

建议使用pycocotools中的COCO API辅助构建与验证输出格式。

6. 验证与调试机制

为确保转换正确性，应实施以下检查：

• 图像尺寸一致性：通过OpenCV/PIL读取实际尺寸并与标注中声明的对比
• 边界框可视化：随机抽取样本绘制边界框，确认位置准确
• 类别分布统计：输出各类别数量，防止映射错误
• 文件完整性检查：确保每个图像有对应标注（或显式标记为负样本）
• 格式Schema校验：使用jsonschema验证COCO输出合法性