[发明专利]一种应用于三维视频虚拟视点合成的空洞填补方法

说明书

技术领域

本发明属于3D视频领域，尤其涉及一种应用于三维视频虚拟视点合成的空洞填补方法。

背景技术

传统的双目立体视频及多视点视频由于无法实现深度自主调节已不能满足人们越来越高的视听需求。与之相比，新一代的基于深度数据和视点合成的三维视频系统能够利用基于深度图像的绘制（depth-image-based rendering, DIBR）技术合成虚拟视点图像，根据用户需求调整最终显示的左右视图的视差大小，改善用户视觉体验，因而得到了学术界和工业界的广泛关注。

虚拟视点合成利用三维场景在一个视点下拍摄的纹理图像及其对应的深度图像生成另一个虚拟视点下的纹理图像，以模拟在该虚拟视点下的图像。虚拟视点与相机视点的信息有所差异，即虚拟视点图像的部分信息（即原视点中被遮挡的区域在虚拟视点下暴露出来）并不能由上述相机视点获取，因此映射视点中会存在空洞。当采用两个相机视点共同内插（view interpolation）合成一个虚拟视点时，原本无法从某个相机视点图像中获取的部分虚拟视点信息能够在另一个视点相机图像中找到，所以此时得到的虚拟视点图像比仅使用一路相机图像进行视点合成时得到的虚拟视点图像具有更好的图像质量，但由于相机视点的数目及基线距离受限，仍有部分虚拟视点信息在两路相机视点中可能都不存在，此时虚拟视点图像中将不可避免地出现空洞（hole）。因此，空洞填补（hole filling）处理对于恢复出自然的合成视点图像起到重要作用。

在基于DIBR的虚拟视点合成中，投影图像空洞的来源主要有三种：采样不足、不同视角的非重合区域、以及重合区域的去遮挡。其中，对于采样不足产生的空洞，可以通过局部纹理内插（类似于提升采样率）来消除；对于非视角重合区域，因为其出现在图像边界，可以直接通过等量截除双目图像的左右边界去掉该区域；而对于去遮挡产生的空洞，由于其在图像中存在的位置不定且不能通过提高采样率消除，填补困难并严重影响了合成视点图像质量。以下所指空洞及本发明所针对空洞均为由去遮挡引起的空洞。

目前空洞填补的基本理论假设是空洞内部纹理与周围纹理具有一致性，即可以延伸空洞周围的纹理来弥合缺失的图像信息。目前的空洞填补方法主要基于空间域纹理内插或图像修补（inpainting）的空洞填补算法进行改进。因为去遮挡引起的空洞属于背景区域，目前大部分算法均使用空洞背景的一侧相邻纹理对空洞进行方向性填补，但对于三维场景中的某些物体（如凹陷），在左右参考视点投影（投影及映射均指3D warping）至虚拟视点的映射图像融合（视点融合，view merging）后，空洞两侧均为前景纹理。

如图1所示的空洞两侧为前景信息的示意图。图中虚拟视点中的图像产生空洞，对于虚拟视点图像而言，空洞两侧都是前景信息，目前的方式显然不能实现正确地空洞填补。

发明内容

针对现有技术中的空洞填补方法无法正确判断去遮挡产生的空洞邻域是否存在背景信息及存在的背景信息能否进行有效地空洞填补，以至于无法正确填补去遮挡产生的空洞，本发明提出在空洞填补之前需要利用被遮挡背景信息判断空洞邻域是否存在背景信息，并只使用背景信息进行空洞填补。本发明公开了一种应用于三维视频虚拟视点合成的空洞填补方法。

本发明的技术方案如下：

一种应用于三维视频虚拟视点合成的空洞填补方法，其具体包含以下步骤：

步骤1，获取虚拟视点图像中空洞邻域范围的被遮挡的背景信息；在左右视点内插中间虚拟视点时，虚拟视点图像为左右视点映射图像融合后的融合图像，左右视点为参考视点；在单视点合成虚拟图像时，虚拟视点图像为视点映射图像，单视点为参考视点；

步骤2，定位虚拟视点图像中去遮挡引起的空洞，根据步骤1得到的被遮挡的背景信息的深度值判断空洞左右邻域是否为背景信息；

步骤3，根据空洞邻域是否为背景信息，以及空洞邻域的背景信息的状况，选择不同的方式进行空洞填补。

更进一步地，上述方法还包括步骤301，当空洞邻域为平滑的背景信息时，直接将空洞填补为空洞邻域背景信息的像素彩色值平均值；当空洞邻域有未被遮挡的背景信息时，背景信息包括未被遮挡的背景信息和被遮挡的背景信息；当空洞邻域全为前景信息时，背景信息指的是被遮挡的背景信息。