[发明专利]一种基于深度信息辅助的高斯混合模型的空洞填补方法

说明书

本发明公开一种基于深度信息辅助的高斯混合模型的空洞填补方法，该方法包括：(1)获取包含多个视图的图像序列数据，每个视图的图像序列数据均含有若干帧的纹理帧和深度帧；(2)采用混合高斯模型算法确定所述图像序列数据中的GMM纹理背景；(3)将纹理帧和深度帧按时序都分为若干个区间，并对每个区间内的深度帧进行直方图均衡化处理；(4)对每个区间中的纹理帧和深度帧进行前景深度相关算法的计算，对应得到FDC区间纹理背景和FDC区间深度背景；(5)将每个区间得到的FDC区间纹理背景，按照FDC区间深度背景中含有的深度信息结合起来最终得到FDC纹理背景。本发明方法可以肉眼观察到更好的空洞填充效果，并且可以在往复运动序列中得到显着的客观增益。

技术领域

本发明涉及三维视频空洞填补技术领域，具体涉及一种基于深度信息辅助的高斯混合模型的空洞填补方法。

背景技术

虚拟视点合成已成为三维视频(3-D)研究的核心部分，因为它能够避免在自由视点视频(FVV)中传输大量视点图像。最常用的视点合成技术是使用纹理图像及其相关深度图的基于深度图像的渲染(DIBR，Depth Image Based Rendering)，虽然DIBR技术已经发展的较为成熟，然而虚拟视图中的空洞填补问题仍然是一个比较棘手的问题。

一般来讲，产生空洞的情况主要有两种，一是不准确的深度值导致的虚拟视图中的不连续区域，二是在参考视图中被遮挡的背景对象可能在虚拟视图中变得可见，从而导致了虚拟视图中的大片空洞。图像修复是一种常用的填补空洞的技术，主要根据相邻像素之间的空间纹理相关性来确定空洞区域的像素值。然而，被遮挡区域与前景区域之间通常没有空域纹理相关性，在虚拟视图中存在大片因遮挡产生的空洞的情况下，采用普通图像修复的结果与实际真实视角图像之间的差异往往很大。

为了得到更好的空洞填补结果，目前最流行的技术是GMM(混合高斯模型，Gaussian Mixture Model)算法。GMM可根据时间相关性信息生成稳定的场景背景，其中每个像素由多个高斯模型来建模和表示，这些高斯模型在出现新的样本数据时以一定学习率进行迭代更新。因为在虚拟视图中无法恢复的遮挡区域通常是背景，所以使用GMM生成的背景来填充被遮挡的区域是一种很有效的方法。但是，对于进行周期旋转或者往复运动的前景区域，由于前景在多个时间帧内的同样位置重复出现，GMM通常会错误地将它们视为背景，并填充到空洞区域中。这样得到的合成图像将会与真实相机在该位置拍摄的图像有较大的差异，进而影响3D视频的观看效果。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种基于深度信息辅助的高斯混合模型的空洞填补方法，该方法可以解决现有GMM模型中使用造成的空洞填补效果不佳问题。

技术方案：本发明所述的基于深度信息辅助的高斯混合模型的空洞填补方法，该方法包括：

(1)使用包含多个视图的图像序列数据，每个视图的图像序列数据均含有若干帧的纹理帧和深度帧；

(2)采用混合高斯模型算法确定所述图像序列数据中的GMM纹理背景；

(3)将纹理帧和深度帧按时序都分为若干个区间，并对每个区间内的深度帧进行直方图均衡化处理；

(4)对每个区间中的纹理帧进行前景深度相关算法的计算，对应得到FDC区间纹理背景；对每个区间中的二值化后的深度帧进行前景深度相关算法的计算，对应得到FDC区间深度背景；

(5)将每个区间得到的FDC区间纹理背景，按照FDC区间深度背景中含有的深度信息结合起来最终得到FDC纹理背景；

进一步地，包括：

所述步骤(2)，采用混合高斯模型算法确定所述图像序列数据中的GMM纹理背景，具体包括：