albumentations.Rotate导致关键点丢失？

Question

我现在一张图中有三个关键点，如下图origin image所示，

我的关键点标注信息为三个点[1,2,3]，每个关键点分别对应的名称为[23_top, 23_left, 23_down]；
我现在试图使用数据增强，考虑使用Rotate进行图片小幅度旋转，增强代码如下

return A.Compose(
        [
            A.Sequential([
                # A.Rotate(limit=5, p=1),
                A.RandomScale(scale_limit=0.1, interpolation=1, always_apply=False, p=0.5),
                A.GaussianBlur(blur_limit=3, p=0.5),
                A.GaussNoise(p=0.5),
                A.RandomBrightnessContrast(brightness_limit=0.3, contrast_limit=0.3, brightness_by_max=True,
                                           always_apply=False, p=0.5),  # Random change of brightness & contrast
            ], p=1)
        ],
        keypoint_params=A.KeypointParams(format='xy'),
        bbox_params=A.BboxParams(format='pascal_voc', label_fields=['bboxes_labels'])
      )

但是使用该增强方法导致关键点的丢失，由原先的三个点变成了2个点，这种关键点的丢失会导致最后获取错误的名称进行解析，
变换后的效果如图所示，我应该怎么做，可以通过数据增强之后仍然保持三个点，最终的目的是保证我解析关键点时，不会出现名字错误匹配的情况？

Answer 1

在进行图像旋转时，关键点的坐标也需要相应地进行旋转。albumentations 库提供了 keypoint_params 来设置如何处理关键点。在你的代码中，你已经将 keypoint_params 设置为 A.KeypointParams(format='xy')，这是一种常见的设置，表示关键点的坐标以 'x' 和 'y' 的形式提供。

在 A.Rotate 中，你可以设置 keypoint_scale 参数，该参数定义了关键点的旋转相对于图像旋转的缩放比例。这样，当你旋转图像时，关键点的坐标也会按照一定比例进行旋转。

下面是你可以尝试的修改：

return A.Compose(
    [
        A.Sequential([
            A.Rotate(limit=5, p=1, keypoint_scale=(0.8, 1.2)),
            A.RandomScale(scale_limit=0.1, interpolation=1, always_apply=False, p=0.5),
            A.GaussianBlur(blur_limit=3, p=0.5),
            A.GaussNoise(p=0.5),
            A.RandomBrightnessContrast(brightness_limit=0.3, contrast_limit=0.3, brightness_by_max=True,
                                       always_apply=False, p=0.5),  # Random change of brightness & contrast
        ], p=1)
    ],
    keypoint_params=A.KeypointParams(format='xy'),
    bbox_params=A.BboxParams(format='pascal_voc', label_fields=['bboxes_labels'])
)

在这里，keypoint_scale=(0.8, 1.2) 设置了关键点旋转的缩放比例范围，你可以根据需要进行调整。这样，关键点在图像旋转时也会做相应的调整，不容易丢失。