光流评价指标计算，即光流真值的获取

Question

您好，想请问一下，对于光流评价指标中，光流真值是怎么得到的。

Answer 1

该回答引用ChatGPT

如有疑问，可以回复我！

光流评价指标常用的有平均角误差（Average Angular Error，AAE）、光流误差（Optical Flow Error，OF Error）和光流相对误差（Relative Optical Flow Error，ROFE）等。

其中，AAE 是计算光流估计结果与真值之间的角度误差的平均值，公式如下：

$$AAE = \frac{1}{N} \sum_{i=1}^{N} \cos^{-1}\left(\frac{\mathbf{u}{i} \cdot \mathbf{v}{i}}{\left|\mathbf{u}{i}\right| \left|\mathbf{v}{i}\right|}\right)$$

其中，$\mathbf{u}{i}$ 和 $\mathbf{v}{i}$ 分别表示第 $i$ 个像素点在两帧图像之间的光流估计向量和真实光流向量，$N$ 表示像素点数目。

OF Error 表示光流估计向量和真实光流向量之间的欧氏距离的平均值，公式如下：

$$OF Error = \frac{1}{N} \sum_{i=1}^{N} \left|\mathbf{u}{i}-\mathbf{v}{i}\right|$$

ROFE 表示 OF Error 除以真实光流向量的模长的平均值，公式如下：

$$ROFE = \frac{1}{N} \sum_{i=1}^{N} \frac{\left|\mathbf{u}{i}-\mathbf{v}{i}\right|}{\left|\mathbf{v}_{i}\right|}$$

获取光流真值的方法有多种，一般来说可以采用以下两种方式：

1、使用真实场景视频，通过使用特殊设备（如激光测距仪、雷达等）获取真实光流向量。

2、利用数据集提供的真实光流向量。常用的数据集有 Middlebury、KITTI、MPI Sintel 等。在使用数据集时，需要注意数据集中的光流真值是否已经经过预处理（如缩放、截取、转换为灰度等）。如果没有进行预处理，则需要根据需要进行相应的处理