[发明专利]面向全景视频编码的自适应选择全局运动估计方法

说明书

技术领域

本发明涉及一种图象视频编码压缩技术，具体地说是一种面向全景视频编码的运动估计方法。

背景技术

基于图像渲染的视频是一种全方位视频，全方位视频也称为沉浸式视频，目的是给用户提供虚拟现实体验，让用户可以观察到周围用照片图像拼接起来的场景。它的基本思想是使用图像，而不是几何图形，做基本单位来构成场景，并且同时支持虚拟的摄像机运动，如旋转、缩放等全局运动。全方位视频的一个典型代表就是全景视频。

全景视频广泛应用在体育节目、三维电影、多方视频会议等应用中。一幅全景图像是由一个六面或者八面的鱼眼摄像机绕着固定的轴做旋转或者缩放运动，对摄像机周围的场景同一时刻拍摄不同方位的照片，把这些照片用一些“缝合”技术无缝拼接，再根据柱面或者球面映射算法映射成柱面图或者球面图而成。因此，全景图像的分辨率一般来说比较高(因为是多幅常规图像拼接而成)，运动细节更丰富(因为拼接的多幅图像之间有很强的空域相关性，全景视频序列相邻帧之间有很强的时域相关性)。而且，由于全景视频为了要让用户有现实场景体验，一般支持虚拟的摄像机运动重现，因此，全局运动和局部运动交错特征更明显。再者，柱面和球面映射算法会引起物体运动变形，使得运动估计的难度加大。二维平面坐标映射到柱面坐标的变换如式(3)所示：

θ＝tan^-1(x/z)

                 (3)

v=y/(x2+z2)]]>

相应的，二维平面坐标映射到球面坐标的变换如上式所示：

θ＝tan^-1(x/z)

Φ=tan-1(y/x2+z2)---(4)]]>

式(3)中，(x，y，z)是像素点的三维空间坐标，θ是摄像机摇摄的角度，v是线扫描比例；式(4)中，Ф是摄像机绕固定轴旋转角度。

基于块匹配的运动估计算法，完全是建立在二维物体做平移运动，大小形状不改变的基础上。一旦这个前提不成立，那么基于块匹配的运动估计将失去其理论基础，编码效率将严重下降。由公式(3)、公式(4)可以看出，在空间中，物体如果做平移运动，全景视频中物体图像将发生形变，物体运动也必将与传统的二维平面运动不一致，传统视频基于块匹配的运动估计算法将失去理论基础。但同时，我们从二维平面坐标映射柱面坐标和球面坐标的分析中可以发现，全景图像物体在柱面或者球面上的运动形变主要表现为摄像机旋转、缩放、错切运动的形变，因此，对全景视频采用反映摄像机运动流的全局运动估计方法将会取得较为精确的运动估计结果和编码压缩效果。再者，以往的研究表明，一般来说，越复杂的运动模型，可模拟的运动样式越多，运动估计越精确，编码压缩率越高。特别在一些比较复杂的运动背景场景下，多参数运动模型往往比稀疏参数运动模型取得更好的运动预测效果。但是，多参数运动模型必须要付出更多的计算复杂度。由于全局运动估计是基于求解误差函数最小值的原理，在现有的算法框架下，如Gauss-Newton迭代法和Levenberg-Marquardt迭代法，要估计的运动参数越多，则迭代算法的复杂性越高(呈倍数增长)。考虑到视频背景内容的多样性，综合衡量计算复杂度和编码压缩效率，本发明提出一种基于率失真优化的自适应选择最优运动模型方法来对全景视频进行全局运动估计补偿。