[发明专利]多视点视频中基于空时结合的虚拟视点绘制方法

摘要

本发明提出一种新的基于深度图的视点合成方法。首先，通过3D图像变换获得虚拟视点彩色图像与深度图像，并去除小的空洞以及映射错误点；然后进行虚拟视点深度图像的空洞填充，同时对空洞处像素坐标进行记录；之后，进行反向的3D图像变换，在参考视点的目标帧中定位目标区域（导致空洞产生的区域），并利用前后帧对目标区域进行背景复原；最后，使用基于样本的图像修复算法对剩余空洞进行修复。本方法中，通过利用前后帧的图像信息，实现空时域相结合进行补洞，较单纯基于空域的补洞操作，能够使结果更加准确，提高虚拟视点图像的质量；另外，通过反向映射，定位目标区域，有针对性的进行背景复原，较大规模的背景复原，在结果相似的情况下实现更加高效地补洞。

主权项

一种基于深度图的视点合成方法，其特征在于，采用空域和时域相结合的方式，利用参考视点中目标帧的前后帧的图像信息，基于对导致空洞产生的遮挡区域的定位结果，进行有针对性的背景复原，从而对虚拟视点图像中的部分空洞进行填充，具体步骤如下：（1）3D图像变换：根据摄像机投影原理，通过3D图像变换，将参考视点的图像信息投影到虚拟视点上，获得虚拟视点彩色图像与深度图像，并且对其中的小的裂纹以及映射错误的像素点进行处理；（2）虚拟视点深度图像中空洞的坐标记录及其填充：对深度图像中的空洞部分进行坐标记录，然后利用邻域赋值，对深度图像进行空洞填充；（3）反向的3D图像变换，定位目标区域：从虚拟视点出发，根据摄像机投影原理，进行反向的3D图像变换，同时根据步骤（2）中的坐标记录结果进行参考视点目标帧中目标区域的定位；（4）在时域上进行目标区域的背景复原：利用参考视点中目标帧的前后帧信息，进行目标区域的背景复原，用于虚拟视点彩色图像中部分空洞的填充；（5）剩余空洞的修复：利用基于样本的图像修复技术对虚拟视点彩色图像中的剩余空洞进行填充。