[发明专利]一种面向全景视频编码的快速全局运动估计方法

说明书

技术领域

本发明涉及一种图象视频编码压缩技术，具体地说是一种面向全景视频编码的快速全局运动估计方法。

背景技术

全景视频广泛应用在体育节目、三维电影、多方视频会议等应用中。一幅全景图像是由一个六面或者八面的鱼眼摄像机绕着固定的轴做旋转或者缩放运动，对摄像机周围的场景同一时域拍摄不同方位的照片，把这些照片用一些“缝合”技术无缝拼接，再根据柱面或者球面映射算法映射成柱面图或者球面图而成。因此，全景图像的分辨率一般来说比较高，运动细节更丰富。而且，由于全景视频为了要让用户有现实场景体验，一般支持虚拟的摄像机运动重现，因此，全局运动和局部运动交错特征更明显。再者，柱面和球面映射算法会引起物体运动变形，使得运动估计的难度加大。但同时，我们从二维平面坐标映射柱面坐标和球面坐标的分析中可以发现，全景图像物体在柱面或者球面上的运动形变主要表现为摄像机旋转、缩放、错切运动的形变，因此，我们可以使用全局运动模型来对全景视频进行全局运动估计补偿。

但是，以往的研究表明，全局运动估计存在着计算量大的问题。全局运动估计关键是对全局运动模型参数的估计。理论上来说，对于一个确定的全局运动参数模型，如仿射六参数运动模型，只需3个背景像素点的运动矢量即可求得六个运动参数的值。但一般的运动矢量方法只能得到精度有限的运动矢量，如果仅用很少几个像素的运动矢量来估计全局运动模型参数，得到的结果精度非常低，因此需要更多像素的运动矢量参与全局运动模型参数估计来提高准确性。这样，参数估计就成了一个解矛盾方程组的问题，可用最小二乘法来求解，如高斯牛顿迭代法。通过数次迭代计算解方程组，直到最后全局运动模型参数值收敛于一个较为稳定的值。但这一迭代过程是全局运动估计中计算复杂度最高的部分，尤其当需处理的全局运动模型较为复杂，迭代次数较多的情况下。

再者，大多数的视频场景都包含有全局运动和局部运动，如果让所有像素的运动矢量都参与全局运动估计，则作局部运动的像素点以及运动矢量估计误差较大的像素点会对全局运动估计产生很大的干扰，使得运动模型参数估计要被迭代很多次才能收敛于一个稳定值。不但降低了全局运动估计的精度，而且使得运算复杂度大大升高。

局部运动区域里的像素点，我们称为外点，全局运动像素点，我们称为内点。我们要研究的快速全局运动估计方法的重点，就是把局部运动区域从整幅图象中有效分割出来，使得全局运动区域包含尽可能多的内点和尽可能少的外点。区分外点和内点的关键和难点在于阈值T的确定。在有些文献中，T设置为一个固定的值(称之为固定阈值法)，但是往往很难找到一个合适的固定阈值T胜任于整个迭代过程：如果T太小，迭代过程很可能一开始就收敛于需要局部运动区域的局部，尤其是局部运动区域占整个场景的比例较大的时候；而如果T太大则迭代结束的时候，全局运动像素点将有一部分被错判为局部运动点，从而大大影响参数估计的准确性。有些文献提到用百分比阈值r％代替阈值T(称之为固定百分比阈值法)，即令外点集合为残差值较大的r％像素的集合。但是由于不同视频中全局运动区域占整个场景的比例大小都不相同，因此这种方法要么只能得到部分的全局运动区域，要么在内点集合中会包含很多外点。有学者提出了一种改进的方法：令阈值T为所有像素的残差的均值(称之为残差均值阈值法)，但是残差均值法并不一定能很好地刻画全局运动区域和局部运动区域的差异，实验结果也表明在有些情况下这种方法可能使内点集合收敛于局部运动区域。

前面提到的这些内区域确定方法很难兼顾参数估计的准确性和鲁棒性，而且针对不同的视频场景往往需要事先选择一个理想的阈值，适应性较差。

发明内容

本发明的目的是提供一种面向全景视频编码的快速分割全局运动区域和局部运动区域的全局运动估计方法。

本发明解决上述技术问题的技术方案是：

一种面向全景视频编码的快速全局运动估计方法，该方法分为两步进行：

1.第一步，使用一个基于统计特性与阈值均值相结合的亮度阈值模型，通过块匹配运动估计、运动补偿、阈值化亮度残差来大致划分局部运动区域与全局运动区域。

2.第二步，由于在步骤1已经取得了全局运动像素点集合的近似解，在这里，我们使用一种基于运动矢量残差的分级阈值法来进一步细化全局运动像素点集合，最终分离出完整的全局运动区域并实现快速全局运动估计。第二步骤是一个结合最小二乘法迭代过程的约束集线性递减的阈值算法，通过运动模型参数估计、全局运动矢量估计、计算运动矢量残差以及阈值化运动矢量残差，有效的分割出前景物体对象，消除局部运动区域对全局运动估计的影响。