[发明专利]一种基于透视变换的立体视频绘制方法

说明书

技术领域

本发明涉及视觉处理、立体视频和自由视点电视技术领域，特别涉及一种基于透视变换的立体视频绘制方法。

背景技术

多视角立体视频可以给观察者提供任意视角的图像，从而使景物的立体真实感更强，在这些年收到越来越多地关注。基于多视角立体视频，人们又提出了自由视点电视的概念。由于自由视点电视需要显示任意视角的视图，如果对每一个视角的图像都进行传输，那么多视角立体视频的存储量和传输带宽需求将是无穷大的。因此通常使用基于深度图的方法，利用深度图和少量的参考图像，生成所需要的任意视角的图像。任意视角的视频绘制会直接影响立体显示的实时性和图片质量，因此，立体视频绘制技术是自由立体电视中非常重要的一项关键技术。相对于传统平面视频,立体视频包含了更多视角的数据信息,会造成数据量成倍地增长,这就给立体视频的存储和传输环节带来了极大的困难。现有的编码算法计算复杂度高，需要耗费大量的存储带宽。

发明内容

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。

为此，本发明的第一个目的在于提出一种基于透视变换的立体视频绘制方法。本发明可以显著降低立体视频绘制算法的计算复杂度，节省了存储带宽。

为达到上述目的，本发明的实施例提出了一种基于透视变换的立体视频绘制方法，包括如下步骤：获取相机参数、虚拟视图的视角参数以及参考视图的视角参数，并根据所述相机参数、虚拟视图的视角参数以及参考视图的视角参数计算单应矩阵，其中，所述单应矩阵用于表示所述参数视图和所述虚拟视图的像素坐标对应关系；输入第一参考深度图和第二参考深度图，并根据所述单应矩阵将所述第一参考深度图和所述第二参考深度图分别映射为第一虚拟深度图和第二虚拟深度图；对所述第一虚拟深度图和所述第二虚拟深度图进行滤波以得到第一滤波后虚拟深度图和第二滤波后虚拟深度图；输入第一参考视图和第二参考视图，根据所述第一滤波后虚拟深度图和第二滤波后虚拟深度图将所述第一参考视图和所述第二参考视图分别映射为第一虚拟视图和第二虚拟视图；对所述第一虚拟视图和第二虚拟视图进行融合以生成目标视图。

根据本发明实施例的基于透视变换的立体视频绘制方法，可以用于通过立体绘制得到各视角的虚拟视图，供多视角立体显示设备进行显示，并显著降低了立体视频绘制算法的计算复杂度，节省了存储带宽。

在本发明的一个实施例中，所述根据相机参数、虚拟视图的视角参数以及参考视图的视角参数计算单应矩阵，包括如下步骤：计算所述参考视图和所述虚拟视图之间的多个深度值；对于每个所述深度值，分别取深度值相同的多个参考像素点，并利用所述多个参考像素点的坐标分别计算对应的虚拟像素点的坐标；根据所述参考像素点坐标和所述虚拟像素点坐标计算所述单应矩阵。

在本发明的一个实施例中，所述根据相机参数、虚拟视图的视角参数以及参考视图的视角参数计算单应矩阵，包括如下步骤：计算所述参考视图和所述虚拟视图之间的多个深度值；对所述多个深度值按照出现次数递减进行排序以生成深度值序列，其中，所述深度值序列包括N个深度值；在所述深度值序列中，取前M个深度值，对所述M个深度值分别计算单应矩阵，M<N,M为预设数目；根据计算得到的M个单应矩阵，通过线性内插方法计算剩余N-M个深度值的单应矩阵。

在本发明的一个实施例中，所述通过线性内插方法计算剩余N-M个深度值的单应矩阵的计算公式为