如何对视频进行数据集标注和实例分割？

Question

有个问题想请教下大家，我现在有视频的数据集，那如果我想做视频的实例分割，这个数据集该怎么处理呢？目前只看到有抽帧处理的，最后还是对图像进行实例分割，有没有直接对视频标注然后送入网络训练的论文或者网络呢？

Answer 1

深度学习本质是对数值的学习，相比图片依据像素就可以转换成数值，视频做这个过程会更难。
如果你想直接对视频进行标注，并使用这些标注训练视频实例分割模型，这样做可能会比较困难，因为视频数据比较复杂，实例分割模型也比较难训练。你可以先尝试将视频抽帧，然后对图像进行实例分割，再尝试将结果合并成视频。这样做可能会更简单一些。