[发明专利]多视点视频中虚拟视点合成方法及装置

说明书

技术领域

本发明涉及三维视频、多媒体信号处理技术领域，尤其涉及一种多视点视频中虚拟视点合成方法及装置。

背景技术

随着电视技术和多媒体处理技术的发展，人们对于最真实视觉体验的需求日益增强，三维电视被看作是继彩色电视、高清电视之后的下一代产品；三维电视利用人的双眼观察物体的角度略有差异，因此能够辨别物体远近，产生立体的视觉这个原理，把左右眼所看到的影像分离，从而可以实现用户无需借助立体眼镜即可用裸眼体验立体感觉。其中多视点视频被认为拥有非常广阔的应用前景，实现多视点视频中虚拟视点的合成，虚拟视点合成是关键技术。

目前，基于深度图像的渲染是一种利用参考视点图像和相应的深度信息来合成虚拟视点的方法，该种方法由于具有良好的编码效率、二维/三维选择性、用户交互性，因此近年来得到越来越多的重视和应用；然而该种方法仍然存在以下缺陷：本应该在虚拟视点中可见的区域在原始视点中是遮挡的，即在虚拟视点图像中出现的物体或背景(后续称为该物体或背景所在的区域为暴露区域)在原始图像中的对应位置处不存在，在原始图像中没有包含暴露区域的信息，因此，暴露区域为空洞；空洞表现为深度图像当中存在灰度值突变的边界，因此若需要提高虚拟视点的图像质量则必须进行补洞。

目前，为提高虚拟视点的图像质量，使最终图像产生最佳的立体效果，解决空洞问题的主要方式为：在对原始图像进行三维图像变换之前，对该原始图像进行深度图预处理，以使原始图像的深度图中尖锐的灰度值突变变得平滑，进而减轻前景物体和背景之间的深度差异，从而减少虚拟视点图像中空洞的数量，提高视图质量；该种方式虽然在一定程度上提高了虚拟视点图像的质量，但是深度图预处理会给虚拟视点图像带来严重的不可恢复的几何畸变。

发明内容

针对现有技术存在的技术问题，本发明实施例提供一种多视点视频中虚拟视点合成方法及装置，以充分考虑到深度图的处理方式和最终所要合成的虚拟试点图像质量高低的关系，在保证不带来几何畸变的前提下，提高虚拟视点图像的质量，提高虚拟视点图像的显示效果。

一种多视点视频中虚拟视点合成方法，包括：

步骤1、根据第一摄像机得到的第一参考视点图像及其深度图像、第一摄像机参数，对所述第一参考视点图像进行三维图像变换，得到第一虚拟视点图像及其深度图像和空洞图；以及，根据第二摄像机得到的第二参考视点图像及其深度图像、第二摄像机参数，对所述第二参考视点图像进行三维图像变换，得到第二虚拟视点图像及其深度图像和空洞图；

步骤2、根据所述第一虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第一虚拟视点图像进行小洞填充，得到小洞填充后的第一虚拟视点图像；以及根据所述第二虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第二虚拟视点图像进行小洞填充，得到小洞填充后的第二虚拟视点图像；

步骤3、将小洞填充后的第一虚拟视点图像与第二虚拟视点图像作为彼此的参考图像，进行图像互补，分别得到图像互补后的第一虚拟视点图像和第二虚拟视点图像；

步骤4、将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行融合，得到主虚拟视点图像；

步骤5、对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，得到深度图处理后的第一参考视点图像和第二参考试点彩色图像；再按照上述步骤1～步骤4对深度图处理后的第一参考视点图像和第二参考试点彩色图像进行相应的处理，得到副虚拟视点图像；

步骤6、根据所述副虚拟视点图像对所述主虚拟视点图像进行空洞填补，生成虚拟视点图像。

一种多视点视频中虚拟视点合成装置，包括：

三维图像变换单元，用于根据第一摄像机得到的第一参考视点图像及其深度图像、第一摄像机参数，对所述第一参考视点图像进行三维图像变换，得到第一虚拟视点图像及其深度图像和空洞图；以及，根据第二摄像机得到的第二参考视点图像及其深度图像、第二摄像机参数，对所述第二参考视点图像进行三维图像变换，得到第二虚拟视点图像及其深度图像和空洞图；

空洞填充单元，用于根据所述第一虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第一虚拟视点图像进行小洞填充，得到小洞填充后的第一虚拟视点图像；以及根据所述第二虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第二虚拟视点图像进行小洞填充，得到小洞填充后的第二虚拟视点图像；

图像互补单元，用于将小洞填充后的第一虚拟视点图像与第二虚拟视点图像作为彼此的参考图像，进行图像互补，分别得到图像互补后的第一虚拟视点图像和第二虚拟视点图像；