[发明专利]基于快速图像配准的视角变化条件下视频前景提取方法

说明书

技术领域

本发明涉及视频与图像处理领域，尤其涉及一种基于快速图像配准的视角变化条件下视频前景提取方法。

背景技术

前景提取是指将视频中的前景物体(如人物)和背景相分离的过程。前景的位置、形状、运动等信息对于图像和视频理解非常关键，许多后期的视觉分析都是基于前景提取的结果。例如，安全监控系统可以通过前景提取来监控特定的动作与行为；交通监控系统可以根据前景(车辆)提取来评估交通状态；人机交互系统可以通过提取的前景来识别人体的手势或动作从而产生响应；动作捕获系统可以通过前景提取来恢复三维人体运动；视频和动画编缉系统则可以通过前景提取将一段视频的前景附加到另外一段视频上，从而产生特效。

复杂条件下的前景提取是一项较困难的工作，困难主要来源于背景的高度复杂性，背景本身的变化，以及相机运动带来的视角变化。背景减除法(background subtraction)是一种广泛使用的方法，它假定背景已知而且是静态的，通过将视频帧和背景图像进行逐像素比较来提取前景。这种方法在背景本身发生变化或者相机发生运动的情况下显然会失效。为了解决背景的局部变化问题(如摇摆的树枝，荡漾的水波)，混合高斯模型(Mixture Gaussian Model)方法被广泛使用，如1999年在IEEE Conference on Computer Vision and PatternRecognition(CVPR)会议上发表的《Adaptive background mixture models forrealtime tracking》。该方法认为，图像上每个像素的颜色值可以有多个来源。例如，随着树枝的摇摆，某个像素在某些时刻对应着树叶的颜色，而在另一些时刻对应着天空的颜色。  于是，可以用混合高斯模型来对各个像素的颜色值进行建模。为了解决阴影和高亮等光照问题，1999年的IEEE ICCV Frame-rateWorkshop上发表了《A statistical approach for real-time robust backgroundsubtraction and shadow detection》一文，公开了一种将色品和亮度分离的颜色模型扩展了传统的背景减除方法。为了解决背景的缓慢的变化问题(如光照的渐变)，还有一些方法通过自适应的滤波来不断的更新背景统计模型，如1997年在IEEE Transactions on Pattern Analysis and Machine Intelligence上发表的《Pfinder：Real-time tracking of human body》。另一种方法则使用隐马尔科夫模型(Hidden Markov Model)来解决背景本身的变化，如2002年在IEEE Transactionson Pattern Analysis and Machine Intelligence上发表的《An HMM basedsegmentation method for traffic monitoring movies》。

以上方法的共同点在于，他们都假定拍照的相机是静止不动的，即整个视频的视角是保持不变的。而事实上，现实中的大多数视频拍摄时相机都是运动的。例如，很多视频是用手持相机拍摄的，手的抖动会使视角发生变化；很多监控相机通过旋转视角来监控大范围的区域。在这些情况下，传统背景减除方法都不可用。如图1，(a)是一包含前景的视频帧；(b1)是处于相同视角的背景图像；(c1)是由于相机抖动而视角略有位移的背景图像；(b2)和(c2)分别是利用(b1)和(c1)通过背景减除获得的前景图。可以看出，背景减除对视角的微小变化也非常敏感。