[发明专利]绘制新视点中的空洞填补方法

说明书

技术领域

本发明涉及一种绘制新视点中的空洞填补方法，基于现有的绘制新视点方法，用于减少并填补绘制过程中出现的空洞，以提高新视点的绘制质量。属于计算机视觉、图像处理、虚拟现实技术领域。

背景技术

自1936年，第一项电视服务由英国广播公司(BBC)推出以来，随着视频技术的发展（例如内容获取，编码，通信和显示），电视播放经历了从黑白到彩色，模拟到数字，阴极射线管显示到液晶屏显示，从被动的欣赏电视节目到交互式视频点播(VOD)服务。而如今，为实现身临其境的体验，电视业向着三维电视(3D-TV)发展着。三维电视将传统的二维视频生动的拓展为三维，使用户感觉他们正通过窗口看真实的对象而不是平面图像。当前三维电视的发展主要受限于立体视频内容的制作和传输，尤其是以下两个方面：不同接收端的自适应能力(视点的数量和大小)和对现有的二维显示的向后兼容性。

传统的立体视频制作方法主要是通过一组平行、会聚或者任意角度的相机阵列拍摄场景中不同角度的信息，所得的多个视频经几何参数校正、亮度/色度补偿等预处理后，再经多视视频编码(multiview video coding,MVC)压缩成视频流。由于编码后重构的多个视不一定符合某个观众在显示屏前所在位置的观看要求，故解码后需通过选择一些合适的视绘制成符合需要的两个虚拟视（虚拟摄像机）后，再合成为“立体对”视。但是这种方法对于视频编码和传输都有较高的要求，且传输过程中数据量较大，不便于实现。因此，只须通过一路二维视频和它相应的每点深度信息的立体视频制作方法颇受青睐。方法中，利用基于深度图像绘制技术(DIBR)在接收端合成一个或多个虚拟视点，减少了数据传输中总的带宽，而且通过绘制所有需要的虚拟视点使用户端拥有了对不同接收端的自适应能力。

然而基于深度图像绘制技术，也称为三维映射(3D image warping)过程中出现的空洞是一路二维视频加深度信息方法最大的问题。三维映射方程首先将二维参考图像某个像素坐标映射到一个三维空间坐标点，然后再将该三维空间坐标点反映射为目标图像一个图像坐标，最后将参考图像坐标像素值赋给目标图像映射坐标。由于空间点在图像不同视图中遮挡关系即体现在深度图中水平方向的较大不连续区域，图像映射会暴露出在原视点下被遮挡，而在新视点中可见的区域，这也就是新视点下的空洞区域。

空洞的出现对新视点的绘制质量有较大的影响，如今常用的有两类空洞填补的方法：一种是对深度图通过均值滤波、高斯滤波等预处理，能够平滑深度图的不连续区域，消除空洞。但是这种方法会使映射后的新视点下的物体出现明显的几何失真，尤其是垂直边界扭曲的物体对视觉影响更大。另一种是对映射后出现的空洞利用图像修补的算法进行填补。由于空洞一般都是来自于原视点下被遮挡的背景像素，故如果填补时没有考虑到空洞更倾向于背景像素来填补的话，填补后的图像也会明显失真。

发明内容

针对上述的现有空洞填补方法存在的问题，本发明提出了绘制新视点中的空洞填补方法。

本发明采用的技术方案如下：

一种绘制新视点中的空洞填补方法，其包括以下步骤：

在三维映射前，对深度图预处理，包括：检测深度图边缘；进行深度不连续分析，获取主要深度不连续区域；对主要深度不连续区域进行非对称高斯滤波；

在三维映射后，检查新视点图像是否仍有空洞，如果有，则基于深度信息对空洞填补。

在上述的绘制新视点中的空洞填补方法中，优选地，对深度图预处理还包括对主要深度不连续区域附近的深度图区域进行非对称高斯滤波和三边滤波。

在上述的绘制新视点中的空洞填补方法中，优选地，对深度图预处理还包括对其余深度图区域进行三边滤波。

在上述的绘制新视点中的空洞填补方法中，优选地，对深度图预处理还包括对滤波后区域物体边界附近的垂直边缘进行深度值校正。

在上述的绘制新视点中的空洞填补方法中，优选地，深度不连续分析包括：

判断边缘点水平方向附近的深度值是由低到高变化还是由高到低变化，据此确定边缘点映射后会产生空洞或会被遮挡；

对于会产生空洞的边缘点，计算映射后的空洞区域的水平长度；

将空洞区域的水平长度与阈值比较，大于阈值则判定该空洞区域为主要深度不连续区域。