深度学习复现遇到的问题
为什么训练完后测试图片,右上角分辨率提高了,但是用肉眼看根本没区别
在解读基于光流的特征图扭曲之前,我们先来补充一个前置知识。
借用《视频处理与通信》(ISBN 7-5053-7635-7)的示意图,我们可以看到,在目标帧(参考帧)中的车后轮与锚定帧(当前帧)中车后轮存在一个位置关系,这个位置关系,我们可以通过一个矢量来描述,例如它从(3.5,3.5)移动到了(5,5),矢量为(1.5,1.5)。
如果我们对每一个块进行计算,就可以得到一张运动补偿的矢量图。
再如,我们看看下面的两张图,
如果我们对他们的相关关系进行高密度的运算评估,那么,仅仅利用参考帧和矢量图,我们是可以很好地还原出当前帧的效果的:
如上图,这是基于像素级别的矢量描述,利用参考帧来还原当前帧。
值得注意的是,这种估算方式是有三个很强烈的前提假设的:
1.当前帧与参考帧之间的亮度恒定。
2.当前帧与参考帧的取帧时间连续,或者,当前帧与参考帧之间物体的运动比较“微小”。
3.保持空间一致性;即,同一子图像的像素点具有相同的运动。