[发明专利]多视角视频图像的场景全局深度估计方法

说明书

技术领域

本发明涉及视频信号处理技术，具体涉及一种汇聚相机系统下多视角视频图像的全局深度估计方法。

背景技术

多视角视频(Multi-view video)是指不同方位的多个摄像机对同一场景拍摄得到的视频信号，它是立体电视(3DTV)和任意视角视频系统(FVV，Free Viewpoint Video System)等新型应用的基础。利用多视角视频和图像合成技术可以产生摄像机覆盖范围内的任意视角的视频信息，观察者可根据自己的喜好自由地切换观察视角，从而得到具有交互功能的高质量的视频观看体验。由于多视角视频数据随摄像机数目的增加而成倍增加，所以高效压缩编码多视角视频中的海量数据已成为目前视频处理领域的一个研究热点。国际标准组织MPEG早在2002年就开始3D音视频(3DAV)方面的探索研究，并发展为多视角视频编码(MVC，Multi-view Video Coding)的研究，2006年MVC成为最新标准H.264/AVC的扩展部分。

多视角视频压缩编码中，除了利用传统的单视频序列中的运动补偿技术消除时间冗余外，还要考虑利用各视角图像之间的相关性，从而进一步提高压缩效率。目前，H.264中关于利用不同视角图像间的相关性进行编码的提案主要分为两类：一、基于视差补偿的视图预测编码方法(DCVP，Disparity Compensated View Prediction)：在编码和解码端分别进行像素的视差估计，在编码端利用视差进行视图插值得到预测信息，对预测残差进行编码(ISO/IEC JTC1/SC29/WG11，Doc.JVT-T119，2006)，该方法适用于相机视角密集、视角之间旋转不大的情形，如平行相机系统。二、视图合成预测编码(VSP，View SynthesisPrediction)：在编码端进行块的深度信息估计，然后进行视图合成得到预测块，对深度信息和预测残差进行编码(ISO/IEC JTC1/SC29/WG11，Doc.JVT-T123，2006)，该方法适用于视角之间存在较大旋转、视图存在较大投影变形的情形，如视角稀疏的汇聚相机系统。

2007年4月JVT最新会议提案(ISO/IEC JTC1/SC29/WG11，Doc.JVT-W100，2007)提出了MVD(Multi-view video plus depth)概念，即视频加深度的多视角视频编码。由于MVD能够满足先进三维视频或任意视角视频应用的本质需求，能够在解码端生成一定范围内的连续的任意视角的视图，而不是数量有限的离散的视图，所以视频加深度的MVD方案已经被JVT采纳，被确定为今后的发展方向。

所以，如何从不同视角的两幅或多幅视图获取场景的深度信息成为了今后多视角视频编码的重要问题之一。

迄今，已有很多与深度估计相关的研究和估计算法。常用的深度估计方法是，先利用基于特征或块匹配的方法估计两幅图像之间的水平视差，然后再根据深度与视差成反比的关系计算出深度信息。但上述深度估计方法只适合平行相机系统，应用范围有限。如是适用于其它相机系统，则还需先对图像对进行校正，处理过程复杂。而在多视角视频的实际应用中，摄像机系统通常以圆弧方式排列，形成汇聚相机系统。汇聚相机系统可以获得场景中多个角度的不同信息，各视图之间存在较大的投影变形，利用未考虑块变形的视差估计方法无法快速有效地直接获取深度信息。