[发明专利]多视角视频图像深度搜索方法及深度估计方法

说明书

技术领域

本发明涉及多视角视频图像处理技术。

背景技术

近年来，研究者们逐渐认识到，未来先进三维电视和任意视角视频应用系统(FVV，Free Viewpoint Video System)中应该利用计算机视觉、视频处理和基于深度图像的场景合成等技术，把视频的获取和显示设置分离开来，即观看视角与获取视频的照相机方位相互不受限制，从而提供高度的灵活性、交互性和可操作性。欧洲的立体电视项目采用了视频加深度的数据格式(“基于深度图像的合成、压缩和传输的三维电视新方法”，立体显示和虚拟现实系统SPIE会议，2004.C.Fehn，“Depth-image-based rendering(DIBR)，compression and transmi ssion for a new approach on 3D-TV，”in Proc.SPIE Conf.Stereoscopic Displays and Virtual Reality Systems XI，vol.5291，CA，U.S.A.Jan.2004，pp.93-104.)，即图像的每个像素对应一个深度值；利用基于深度图像的视图合成方法(DIBR：Depth Image Based Rendering)：接收端解码器根据显示设置和观看视角生成立体图像对，从而使观看视角与获取视频的照相机方位相互不受限制。2007年4月JVT会议提案(“先进三维视频系统的多视角视频加深度的数据格式”；A.Smolic and K.Mueller，et al.“Multi-View Video plus Depth(MVD)Format for Advanced 3DVideo Systems”，ISO/IEC JTC1/SC29/WG11，Doc.JVT W100，San Jose，USA，April2007.)把视频加深度推广到多视角视频，提出了视频家深度的多视角编码数据格式MVD(Multi-view video plus depth)。由于MVD能够满足先进三维视频或任意视角视频应用的一个本质需求，即能够在解码端生成一定范围内的连续的任意视角的视图，而不是数量有限的离散的视图，所以视频加深度的MVD方案已经被JVT采纳，被确定为今后的发展方向。

所以，如何从不同视角的两幅或多幅视图获取场景的深度信息成为多视角视频处理中的重要问题之一。

目前的深度搜索方式为：在固定搜索范围内采用固定搜索步长(uniform depth-grid)进行深度搜索。使用固定搜索步长时，若在较小深度值处给定的搜索步长对应于1个像素的偏移量，则在较大深度值处，该搜索步长对应的像素偏移量将小于1个像素。假设在给定的深度值下投影到非整数像素时，取最近邻的像素点作为投影点，则深度搜索时将在多个不同的深度值处搜索到同一像素点，即出现了重复搜索。反过来，若给定的搜索步长在较大深度值处对应于1个像素的偏移量，则在较小深度值处该搜索步长对应的像素偏移量将大于1个像素，即相邻两个深度值将搜索到两个非相邻的像素点，从而使得有些像素点漏检，产生搜索不全。所以，本来期望在搜索范围[z_min，z_max]内搜索N个像素点，但由于产生了像素点重复搜索或漏搜索，实际搜索到的有效搜索点要少于N。为了保证搜索范围包含场景真实深度值的所有可能取值，通常把搜索范围设得足够大，而为了保证一定的搜索精度，把搜索步长设得较小，这大大增加了搜索次数和相应的计算量，并且由于漏搜索和重复搜索的存在，搜索效果并不好。

迄今，已有很多与深度估计相关的研究和估计算法，但大多数通过对校正的、平行立体图像对先进行视差估计，再根据视差与深度的关系计算深度信息。例如，平行相机系统中两幅图像之间只存在水平视差，利用基于特征或块匹配的方法先估计视差，然后根据深度与视差成反比的关系计算出深度信息；而对于非平行相机系统，则要经过图像对校正、视差匹配、深度计算和反校正等一系列处理才能得到原始视图对应的深度图。该类深度估计问题本质上就是进行视差估计，其性能主要由视差估计算法决定。众所周知，视差估计或立体匹配是计算机视觉中的经典问题，虽然至今已有大量的研究工作和成果，但纹理信息缺乏或遮挡所引起的匹配模糊性或不确定性使得视差匹配问题仍旧是计算机视觉中的研究热点和难点。