[发明专利]自由视点视频中视点的重建方法

说明书

技术领域

本发明涉及计算机视觉技术领域，特别涉及到一种自由视点视频中视点的重建方法。

背景技术

自由视点视频处理是立体视频处理技术中的一个关键问题。目前广泛应用的立体视频观赏方式只能对特定角度的立体视频进行观赏，而自由视点视频处理技术能够提供更多的观赏角度，用户可以交互式设定感兴趣的观赏角度的立体视频，利用自由视点视频处理方法就能够得到对应角度的立体视频。这种处理技术能够为用户提供更为灵活的观赏方式，目前是该领域的研究热点。

在自由视点视频的重建中，原视频与深度图是必需的两个原始介质。原视频通常是使用一组平行摄像机拍摄的多视点视频序列，而深度图一般是通过这一组视频序列进行计算得到的。目前通过多视点视频进行深度图计算的方法有很多，一些算法已经比较成熟，能够得到非常精确的深度图，因此本发明中不讨论深度图的求取过程。在自由视点的重建过程中，一般都需要目标视点相邻的两路或多路视频序列。对于使用两路视频序列的算法，通过深度图求取算法计算得到中间视点深度，然后利用立体视频绘制算法计算目标视点的图像，这种算法计算准确程度不够，实际应用中使用范围较小；而对于使用多路视频序列的算法，首先需要通过两次计算得到特定序列相邻两路视频序列的深度图，然后将这两路序列作为参考视点视频序列，利用参考视点及其深度图进行中间视点的重建，可以看到这种方法计算复杂度较高，但得到的视频质量较好。

在自由视点视频重建的过程中，会遇到已经得到目标视点深度图来进行视点重建的情况。此时，使用上面两种情况都不能直接进行深度图计算，都需要相应的其他计算才能够得到目标视点，这无疑增加了运算的复杂度。

发明内容

本发明的目的旨在提供一种自由视点视频中视点的重建方法，其能够得到较好的重建视频质量，同时计算的复杂度低。

本发明是通过以下方案实现的：

一种自由视点视频中特定视点的重建方法，包括以下步骤：输入多视点视频中任意两路参考视频序列和目标视点的深度图序列，提取两路参考视频序列的运动匹配信息，并根据运动匹配信息确定两路参考视频序列的最大视差范围，分别计算两路参考视频序列的边缘信息，以及目标视点的深度图序列的边缘信息，使用边缘匹配的方法分别将两路参考视频序列的边缘信息与目标视点的深度图序列的边缘信息比较，以获取两部分运动匹配信息，根据运动匹配信息，分别从两路参考视频序列中将其与深度图序列匹配的区域中的像素值填充到新的视频区域中，以形成两个新的视点视频序列，利用加权计算将两路新的视点视频序列合并为初始目标视点视频序列，并对初始目标视点视频序列进行补偿处理，对初始目标视点视频序列进行双边滤波处理。

提取两路参考视频序列的运动匹配信息的步骤是通过块匹配或光流的方法得到。

根据运动匹配信息确定两路参考视频序列的最大视差范围的步骤是通过对运动匹配信息进行直方图统计以找到最大值的方法得到。

分别计算两路参考视频序列的边缘信息，以及目标视点的深度图序列的边缘信息的步骤是通过索贝尔算法得到。

使用边缘匹配的方法分别将两路参考视频序列的边缘信息与目标视点的深度图序列的边缘信息比较，以获取两部分运动匹配信息的步骤是采用轮廓矩匹配的方法得到。

本发明的方法还包括采用线性偏移方法将两路参考视频序列中与深度图序列不匹配的区域中的像素值填充到新的视频区域中的步骤。

采用线性偏移方法将两路参考视频序列中与深度图序列不匹配的区域中的像素值填充到新的视频区域中的步骤包括：设定偏移方程L_shift＝aD+b，其中L_shift是偏移距离，D为深度值，a和b为方程参数，在两路参考视频序列中与深度图序列匹配的区域中选择两个不同深度的像素点，将像素点的深度值和偏移距离代入偏移方程得到a和b，通过偏移方程计算两路参考视频序列中与深度图序列不匹配的区域的偏移距离，取两路参考视频序列中与深度图序列不匹配的区域中的像素点，根据不匹配的区域的偏移距离进行坐标偏移，并将其填充至新的视频区域中。

利用加权计算将两路新的视点视频序列合并为初始目标视点视频序列的步骤是通过公式f＝αp₁+βp₂实现，其中p₁和p₂是两路新的视点视频序列中的像素信息，α和β是加权参数，它们的值介于0和1之间，且计算公式为其中L₁和L₂分别为两路参考视频序列与深度图序列中对应图像的最大视差范围。