复杂背景下红外视频多目标检测

Question

 本人的视频是：夜晚城市路面的 **红外** 视频，高架桥上下各有路，路面交错穿插，有车，有行人。高架桥旁边有高楼建筑！视频不是静止的，拍摄的摄像头有时候是在旋转拍摄，旋转无规律，可向左或向右，并伴随一定的上下抖动！
 要求是：检测出所有移动目标，包括行人。
 我在做检测分析的时候，对静止的背景下目标检测没有问题，但对背景移动的情况下目标检测会出现很多误检目标，也就是错把建筑上比较亮、特征明显的地方检测成为目标。
 我采用的方法是：基于OpenCV的光流检测算法！
 请问，如何能够去除背景移动时的误检点？以及如何把弱小目标检测出来？