[发明专利]一种全局运动补偿算法

说明书

本发明涉及一种全局运动补偿算法，该方法首先确定一个目标帧，然后对每相邻视频帧进行全局运动参数估计得到相邻帧运动变换，再迭代地将对象在原帧的坐标通过连续相邻帧的变换依次映射到目标帧，最后得到的目标帧即经过补偿得到的结果帧。本发明提出基于L1范数最小化的全局运动参数估计方法和基于相邻帧运动参数迭代映射的全局运动补偿方法，从视频的原始轨迹中获得出对象的真实运动轨迹。本发明提出全局运动参数估计和补偿算法能有效地把握全局运动的规律，并从中准确恢复出目标对象的真实运动轨迹。

技术领域

本发明涉及视频处理方法，特别涉及一种全局运动补偿算法。

背景技术

在互联网技术、移动终端和媒体技术飞速发展的时代，以视频为主流媒介的自媒体已迅速普及，并极大地改变了信息的传播生态。在自媒体时代，普通民众可以随时随地通过个人摄录、通讯工具(如智能手机等)拍摄记录目击事件,并在互联网上分享传播。然而，这种拍摄行为具有自由开放性和非正式性，使得自媒体视频普遍存在内容杂乱、失实的现象。因此，基于对象行为分析的视频内容理解技术是目前对自媒体信息有效监管的迫切需求。基于对象行为的视频分析需要提取视频对象的运动轨迹，但事实上，自媒体视频往往是由业余拍摄者(普通民众)采用手持设备拍摄，视频普遍存在较明显地相机运动，而这种运动会掩盖对象的真实运动。例如，若视频拍摄者随着目标对象一起运动，相机的全局运动就会抵消对象的真实运动，造成对象处于静止状态的假象。此外，全局运动还普遍存在于自动驾驶的单目或双目摄像头中，对目标测距及碰撞时间计算造成影响。

视频序列图像由前景和背景构成，其中背景的运动通常由相机位置变化造成，称为全局运动；而图像中的运动对象代表前景，前景运动是运动对象相对于摄像机的运动，为局部运动。全局运动估计是对视频序列的背景运动进行建模，找到背景运动的规律。但在具有复杂背景的动态视频中前景和背景往往有较多噪声，从而导致全局运动估计存在误差。

多年来，对全局运动估计和补偿的研究已积累了一定基础。其中，大多数方法为采用基于参数的全局运动估计，例如，基于六参数仿射模型的全局运动估计和基于八参数透视模型的估计方法。在研究方法上，主要是应用运动参数模型预测当前帧运动，并通过最小化与经过运动补偿后参考帧的匹配误差来确定模型参数。一种实现方案是采用梯度下降方法来最小化残差的L2范数。但由于序列图像中存在前景对象的局部运动和噪声，而最小化残差平方和会尽量包含这些局外数据，因此对于背景复杂的全局运动估计，该类方法将会失效。另一种方案是利用随机采样一致性算法(Random Sample Consensus,RANSAC)来确定模型参数。这种方法迭代地寻找只有全局运动内点，而将有局部运动的前景对象和噪声视为外点。Alibay M等人使用抢占式RANSAC算法引入了运动模型的拉格朗日混合评分的方法来计算运动参数。相较于之前的算法，抢占式RANSAC算法的速度和精度都有明显提升。但总体来说，基于RANSAC的算法得到可信模型的概率与迭代次数有关，且对内点阈值敏感，因此可能无法得到最优估计。

发明内容

针对现有技术存在的上述问题，本发明的目的是提供一种全局运动补偿算法，该算法有效地把握全局运动的规律，并从中准确恢复出目标对象的真实运动轨迹能。

为实现上述目的，本发明采用如下技术方案：一种全局运动补偿算法，首先确定一个目标帧，然后对每相邻视频帧进行全局运动参数估计得到相邻帧运动变换，再迭代地将对象在原帧的坐标通过连续相邻帧的变换依次映射到目标帧，最后得到的目标帧即经过补偿得到的结果帧。

作为改进，设视频段共有N帧图像，视频段的中间帧f_M为目标帧，设全局运动参数集为τ；

设第i帧图像与第i+1帧图像的全局运动参数为τ_i，第i帧图像为源帧图像，第i+1帧图像为目的帧图像，对于f_M之前的所有帧，将对象在第i帧图像坐标依次应用全局运动参数τ_i变化映射到第i+1帧图像，i＝1,2,…,M-1；