[发明专利]多视点视频中基于空时结合的虚拟视点绘制方法

说明书

技术领域

本发明涉及一种基于深度图像的虚拟视点合成方法，属于视频、多媒体信号处理技术领域。

背景技术

凭借良好的用户交互性以及生动逼真的视觉体验，三维立体电视成为新一代多媒体技术的领跑者。真实场景的深度信息的构建使立体电视给人一种景物伸展于荧屏之外伸手可触的感觉。其中，多视点视频被认为拥有极其广阔的应用前景。它的主要实现目标是，在播放端，针对同一场景，用户可以根据自己的需要选择不同的视点欣赏不同角度的场景，以获取强烈的临场感与真实感。然而，传输带宽以及传输速率的限制增加了多视点视频实现的难度。于是，虚拟视点合成技术应运而生。

虚拟视点合成的方法有很多种，其中，基于深度图像的视点合成是一种典型的方法。它可以利用一路视频的彩色图像与深度图像，合成其他任意视点的视频信息。在视点合成的过程中，原始视点中被遮挡的背景部分有可能在虚拟视点中暴露出来，这就是所谓的空洞问题。由于这部分暴露出来的区域在原始视点中是找不到参考信息的，所以空洞问题成为视点合成中最具挑战性的问题，如何高效高质地完成视点合成的问题便转换为如何准确地填补空洞的问题。

在传统的基于深度图像的视点合成方法中，主要分为三个基本步骤：参考视点深度图像的平滑处理、通过3D图像变换获得虚拟视点深度图像与彩色图像、空洞填充。这类方法得到的虚拟视点彩色图像中会出现一些小的裂纹和大片的空洞区域。尤其是对于后者，无论是通过邻域赋值、线性插值，还是使用复杂度较高的图像修复算法进行填充，都仅仅是在空域上利用空洞的周边信息进行推测的过程，难以具备较高的可信度，获得的虚拟视点图像也难以准确地反映真实的场景。

发明内容

为解决现有的基于深度图像的视点合成方法中，基于空域的图像后处理所导致的虚拟视点合成的欠准确性问题，本发明提出一种新的基于深度图的视点合成方法。鉴于在参考视点中，被遮挡的背景部分（即导致虚拟视点中空洞的部分）随着时间的推移会暴露出来，这也就意味着，我们可以从参考视点目标帧的前后帧中找到待修复的空洞部分的准确信息。利用这一点，本发明提出了空域和时域相结合进行虚拟视点合成的方法，其中一部分空洞可以通过时域的信息进行更为准确地填充，而对于另一部分无法使用时域信息进行填充的空洞，仍然使用空域补洞的方法进行填充。这样，由于其中一部分空洞可以说是用真实的背景信息进行填充的，较在单幅图像中的推测式的填充，整体性能更好。

本发明中，首先，通过3D图像变换获得虚拟视点彩色图像与深度图像，并去除小的裂纹以及映射错误的像素点；然后进行虚拟视点深度图像的空洞填充，获得完整的虚拟视点深度图像，同时对空洞处像素坐标进行记录；之后，进行反向的3D图像变换，在参考视点的目标帧中定位目标区域（导致空洞产生的遮挡区域），并且利用前后帧对目标帧中目标区域进行背景复原，用于虚拟视点彩色图像中部分空洞的填充；最后，利用基于样本的图像修复算法对剩余空洞进行修复。本方法中，通过利用参考视点的前后帧的图像信息，实现空时域相结合进行补洞，较单纯基于空域的补洞操作，能够使结果更加准确，提高虚拟视点图像的质量。另外，通过反向3D图像变换，定位目标区域，有针对性的进行背景复原，较大规模的背景复原，在性能相近的情况下实现更加高效地补洞。

本发明采用的技术方案为：

一种基于深度图的视点合成方法，其特征在于，采用空域和时域相结合的方式，利用参考视点中目标帧的前后帧的图像信息，基于对导致空洞产生的遮挡区域的定位结果，进行有针对性的背景复原，从而对虚拟视点图像中的部分空洞进行填充，具体步骤如下：

（1）3D图像变换：根据摄像机投影原理，通过3D图像变换，将参考视点的图像信息投影到虚拟视点上，获得虚拟视点彩色图像与深度图像，并且对其中的小的裂纹以及映射错误的像素点进行处理；

（2）虚拟视点深度图像中空洞的坐标记录及其填充：对深度图像中的空洞部分进行坐标记录，然后利用邻域赋值，对深度图像进行空洞填充；

（3）反向的3D图像变换，定位目标区域：从虚拟视点出发，根据摄像机投影原理，进行反向的3D图像变换，同时根据步骤（2）中的坐标记录结果进行参考视点目标帧中目标区域的定位；

（4）在时域上进行目标区域的背景复原：利用参考视点中目标帧的前后帧信息，进行目标区域的背景复原，用于虚拟视点彩色图像中部分空洞的填充；

（5）剩余空洞的修复：利用基于样本的图像修复技术对虚拟视点彩色图像中的剩余空洞进行填充。

所述步骤（1）的具体步骤为：