[发明专利]一种虚拟视点合成中空洞填充方法及系统

说明书

本发明一种虚拟视点合成中空洞填充方法及系统，方法包括：前景提取步骤，在原视点图像中提取导致虚拟视点中大空洞的前景蒙版；背景补全步骤，首先使用改进的时空域填充方法进行填补，具体为将前后若干帧配准到当前帧，在进行配准的过程中，对匹配对的特征点进行光流跟踪以剔除错误匹配对，对光流跟踪处理后计算得到单应性矩阵进行图像拼接，实现部分背景填补；然后使用改进的空域填充方法进行填充，具体为使用PatchMatch算法时对像素的初始偏置先验赋值，以获得补全的被遮挡背景；被遮挡背景再变换步骤，将补全的被遮挡背景变换到虚拟视点中。本发明能够提高虚拟视点合成的质量。

技术领域

本发明涉及图像处理技术领域，具体涉及一种虚拟视点合成中空洞填充方法及系统。

背景技术

目前，3D显示技术已经渗透到人们生活的方方面面，人眼观看物体时看到的图像具有位差，两幅图像之间的偏差称之为双目视差，这种具有视差的图像称之为立体图像对。为了形成立体图像对，需要合成虚拟视图，人脑才能感知立体图像对的差别产生立体感，所以3D中最重要的一个步骤就是虚拟视点的合成。

目前，最常用的虚拟视点合成方法是基于深度图像绘制DIBR(Depth Image BasedRendering)。该方法通过真实相机拍摄的图像及其对应的深度图来合成虚拟视图。使用DIBR合成虚拟视图的过程中需要执行三维图像变换(3D image warping)。三维图像变换的本质是将真实相机捕获的参考图像(reference image)中的像素投射到虚拟视图中相应的像素位置。与传统的基于三维模型绘制的方法相比，DIBR能够更方便地在接收端合成虚拟视点图像。然而，由于深度图中深度值的不连续，经过三维图像变换操作得到的目标视图中会有大量的空洞，空洞的产生严重影响了合成视图(synthesized view)的质量。填充这些空洞，得到真实且自然的目标视图成了3D领域一个极富挑战性的课题。

空洞填充的方法根据虚拟视点合成的时间顺序，可以分为两大类：深度图预处理和合成视图后处理。基于深度图预处理的填充方法中，Fehn等人采用高斯滤波器对深度图做预处理。之后人们也使用很多不同的滤波器来对深度图做平滑处理，如Zhang等人采用非对称高斯滤波器对深度图进行处理，以减弱合成视图中的几何失真现象；Daribor等人采用边缘依赖深度滤波器，仅在深度图的边缘附近执行滤波操作。实验结果表明，这类方法会产生比较明显的几何失真，并且这类方法虽然可以解决一部分空洞问题，剩余的空洞仍然需要其他方法来填充。基于合成视图后处理的方法可以分为两类：基于空域的和基于时空域的空洞填充。两者的差别是基于空域的方法只利用一帧图像信息来填充空洞，而基于时空域的空洞填充是利用时域上多帧图像信息。基于空域的填充方法中，M.Schmeing等人将空洞附近的纹理直接通过插值的方法传播到空洞区域，由于插值方法是对视图中的每一行独立处理，因此会导致视觉上的伪像；Moi等人结合深度图预处理和Telea提出的图像修复算法来进行空洞填充。然而，这种方法没有考虑目标图像中前景与背景的关系，存在使用前景纹理填充背景空洞区域的现象；Criminisi等人提出了基于样本的图像修复，为解决DIBR系统中大尺寸空洞不能很好的填补的问题指明了新方向；近年来卷积神经网络在图像修复方面有着较好的应用，Yu等人提出了一种基于深度生成模型的方法，其具有用于图像修复的语境关注层，使用已知补丁的特征作为卷积过滤器来处理生成的补丁，虽然基于卷积神经网络的图像修复方法能对遮挡的未知空洞区域的内容进行修补，但是仍然存在着前景纹理填充到背景空洞中的问题。基于时空域的空洞填充方法中，Guibo Luo等人提出基于背景重建的空洞填充算法，该算法首先利用随机游走分割算法提取出虚拟视图中的前景，然后利用随机抽样一致性算法，高斯混合模型以及Criminisi图像修复算法来重建图像中的背景信息，最后利用重建的背景信息和虚拟视图中的前景信息来合成目标视图，但是该算法在采用全局单应性矩阵进行图像配准时，存在图像拼接对齐不准的问题，同时Criminisi算法来重建图像中的背景信息时时间复杂度较高。

综上所述，现有的虚拟视点空洞填充方法存在如下缺点：