[发明专利]用于全局运动估计和补偿的方法和系统

说明书

提出了一种用于全局运动估计和补偿的方法和系统。该系统对包含参考深度图和当前深度图的两个深度图以及它们的相关联纹理图像（如果可得到的话）进行操作。该系统执行四个主要步骤，它们是特征检测（步骤1）、全局运动补偿（GMC）（步骤2）、主要移动对象（MMO）检测和它们的被表示为主要运动参数（MMP）的运动参数的估计（步骤3）、以及宏块或其它编码/预测单元的局部运动补偿（LMC）（步骤4）。该系统的输出是全局运动参数（GMP）、主要移动对象（MMO）和MMP、局部运动矢量（LMV）和编码模式。

技术领域

本发明涉及在一个或多个视点处拍摄的深度图的序列(即多视点深度视频)的用于其高效压缩的时间和空间预测，所述深度图的序列即深度视频。

背景技术

深度图是记录可观察到的场景点距相机的光学点的距离的图像(或视频，如果以有规律的时间间隔拍摄的话)。它们通过指定它们在场景中的深度向在同一位置处拍摄的彩色图像或视频中的相关联的彩色像素提供附加信息。深度图的一个应用是从彩色图像或视频(也被称为纹理)合成新的场景视图。还可以在邻近的空间位置处拍摄深度图以形成多视点深度图像或视频。与纹理或彩色视频一起，可以合成在成像位置周围的新虚拟视图。参见S.C.Chan等人的“Image-based rendering and synthesis”,IEEE Signal ProcessingMagazine,vol.24,pp.22-33(2007)和Z.Y.Zhu等人的“Object-based rendering and 3Dreconstruction using a moveable image-based system”,IEEE Trans.CircuitsSyst.Video Techno.,vol.22(10),pp.1405-1419(2012)，它们二者被通过引用整体地结合于本文中。图1中示出合成场景及其相关联的深度图的立体视图的示例。

深度图在许多应用中是重要的，尤其对于从彩色(或纹理)视频生成多个新的视图以用于立体和自动立体显示器中的3D内容的视图合成和显示而言是重要的。现有技术水平的编码算法(诸如HEVC-3D)通常依赖于使用深度和纹理视频二者用于帧间和视点间预测的基于块的运动估计和补偿技术。参见在奥地利维也纳且(2013年8月)的第五届关于3D视频编码扩展的联合协作组会议(JCT-3V)的会议记录中的G.Tech等人的“3D-HEVC draft textl”，文档JCT3V-EIOOJ。

相机位置没有被明确地估计以用于补偿并且这样的全局相机运动预测/补偿的实现通常需要相当多的乘法，其使得实时实现复杂。在相机位置和焦点中的改变下，能够在时间上(帧间)和/或在空间上(视图内)从邻近的深度图像获得场景中的静止和主要移动对象的一组运动描述符是重要的。归因于全局相机运动补偿和主要对象运动参数的经改进的预测将导致减少的要被编码的预测残差，并且因此导致更好的编码效率。这还大大减少了用于在宏块或预测单元中对运动矢量进行编码所需的位，因为考虑到只被仅编码一次的全局运动预测子(predictor)，仅需要短的局部运动校正。

因此多视点深度图图像和视频的高效压缩对于它们的高效存储和传输而言是重要的。

如科技文章中的现有技术水平的编码算法通常依赖于使用深度和纹理视频二者的基于块的运动估计和补偿技术。相机位置没有被明确地估计以用于补偿并且这样的全局相机补偿的实现通常需要相当多的乘法，其使得实时实现复杂。在相机位置和焦点中的改变下，能够在时间上(帧间)和/或在空间上(视图内)从邻近的深度图像高效地获得场景中的静止和移动对象的一组运动描述符是重要的。通过使用这些运动模型参数，可以大大减少在每个宏块或编码单元中用于对预测残差和附加运动矢量进行编码的位，这改进了编码效率。

发明内容

本发明涉及用以促进深度视频中静止或几乎静止对象的帧间全局相机运动预测和补偿的高效估计和实现的仿射相机模型的使用。其还涉及用于在具有或者不具有纹理视频的帮助的情况下从深度视频的连续帧估计相关联的全局运动模型参数(GMP)的高效方法。该方法执行具有显著降低的算法复杂度的全局相机补偿以促进实时或硬件实现。