[发明专利]多视点视频中基于空时结合的虚拟视点绘制方法

权利要求书

1.一种基于深度图的视点合成方法，其特征在于，采用空域和时域相结合的方式，利用参考视点中目标帧的前后帧的图像信息，基于对导致空洞产生的遮挡区域的定位结果，进行有针对性的背景复原，从而对虚拟视点图像中的部分空洞进行填充，具体步骤如下：

（1）3D图像变换：根据摄像机投影原理，通过3D图像变换，将参考视点的图像信息投影到虚拟视点上，获得虚拟视点彩色图像与深度图像，并且对其中的小的裂纹以及映射错误的像素点进行处理；

（2）虚拟视点深度图像中空洞的坐标记录及其填充：对深度图像中的空洞部分进行坐标记录，然后利用邻域赋值，对深度图像进行空洞填充；

（3）反向的3D图像变换，定位目标区域：从虚拟视点出发，根据摄像机投影原理，进行反向的3D图像变换，同时根据步骤（2）中的坐标记录结果进行参考视点目标帧中目标区域的定位；

（4）在时域上进行目标区域的背景复原：利用参考视点中目标帧的前后帧信息，进行目标区域的背景复原，用于虚拟视点彩色图像中部分空洞的填充；

（5）剩余空洞的修复：利用基于样本的图像修复技术对虚拟视点彩色图像中的剩余空洞进行填充。

2.根据权利要求1所述的基于深度图的视点合成方法，其特征在于，所述步骤（1）的具体步骤为：

a.根据参考视点的深度信息，实现从参考视点平面到三维空间，再从三维空间到虚拟视点平面的坐标变换；

b.根据坐标变换的结果，将参考视点中的像素点投影到虚拟视点平面内，从而获得虚拟视点彩色图像与深度图像；

c.对虚拟视点彩色图像与深度图像中映射错误的点进行检测，并进行邻域赋值，同时，对于其中一些小的裂纹，也使用邻域赋值的方式进行填充。

3.根据权利要求1所述的基于深度图的视点合成方法，其特征在于，所述步骤（2）的具体实现步骤如下：

a.对虚拟视点深度图像及彩色图像中的大的空洞像素进行坐标记录；

b.逐行地使用空洞区域邻近的背景像素进行虚拟视点深度图像的空洞填充，获取完整的虚拟视点深度图像。

4.根据权利要求1所述的基于深度图的视点合成方法，其特征在于，所述步骤（3）的具体实现步骤如下：

a.根据步骤（2）中得到的虚拟视点深度图像，实现从虚拟视点平面到三维空间，再从三维空间到参考视点平面的坐标变换；

b.根据坐标变换结果以及步骤（2）中的坐标记录结果，在参考视点目标帧中定位目标区域。

5.根据权利要求1所述的基于深度图的视点合成方法，其特征在于，所述步骤（4）的具体实现步骤如下：

a.在时域上，利用前后帧进行目标帧中目标区域的背景复原；

b.根据步骤（3）中的坐标变换结果，进行虚拟视点中彩色图像中部分空洞的填充。

6.根据权利要求1所述的基于深度图的视点合成方法，其特征在于，所述步骤（5）的具体实现步骤如下：

a.检测空洞区域的边缘，计算边缘上各像素的优先级，决定修复顺序；

b.以边缘像素为中心，获取特定尺寸的样本块，以样本块为单位，根据其中的颜色信息，从源图像中搜索最佳匹配块；

c.找到最佳匹配块之后，将最佳匹配块中的像素信息复制到样本块中的空洞处，实现填充。