[发明专利]一种虚拟视图渲染方法

说明书

技术领域

本发明涉及图像处理技术领域，特别涉及一种虚拟视图渲染方法。

背景技术

立体显示技术在电视、电影、医疗、教育等方面均有良好的应用前景。目前的立体显示技术主要有两类：基于双目立体成像的显示技术和裸眼多视点立体显示技术。其中，裸眼多视点立体显示技术不需要佩戴辅助观看设备，更符合人们的观看需求。

裸眼多视点显示技术需要多个不同视点的图像作为片源，多视点图像的获取方式包括多视点采集、三维建模、虚拟视图渲染等。基于深度图或视差图的虚拟视图渲染方法在采集成本和数据处理复杂度上均具有优势。

虚拟视图渲染方法主要为采用参考视图和深度图或视差图的算法。根据场景点在参考视图和虚拟视图中的视差值，计算场景点在虚拟视图中的投影位置，根据视差-深度理论，由两个参考视点便可获知场景点的真实深度，并可在不显示真实深度的情况下，根据视差对参考视点间的任意虚拟视点的视图进行渲染。

对基于深度图或视差图的虚拟视图进行渲染的方法，深度图或视差图的准确度对渲染结果影响较大，而对于遮挡区域的重现造成的渲染空洞较难处理。左、右参考视点视图中被遮挡的像素由于在对应视图中无匹配点，因而没有视差值。而一般情况下，在虚拟视点的虚拟视图中，左、右视图中被遮挡的区域均会有部分重现。若仅基于单个视点对虚拟视图进行渲染，左、右视图中被遮挡区域在虚拟视图中的重现部分均会产生空洞。

现有的虚拟视图渲染方法对空洞的处理大都使用单视角的边缘信息填补空洞，处理痕迹较为明显，影响图像的观看效果和真实感。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为此，本发明的目的在于提出一种虚拟视图的渲染方法，采用该方法没有明显的处理痕迹，虚拟视图的真实感较强，并且图像绘制速度快。

为达到上述目的，本发明的实施例提出一种虚拟视图的渲染方法，包括以下步骤：S1，根据第一参考视点和第二参考视点的第一视图和第二视图，分别计算所述第一视图相对于所述第二视图的第一视差图和所述第二视图相对于所述第一视图的第二视差图；S2，根据所述第一视图和所述第一视差图及所述第二视图和所述第二视差图对虚拟视图进行渲染，并分别建立所述虚拟视图对应于所述第一视图和所述第二视图的第一索引图和第二索引图；S3，检测所述虚拟视图中面积超过第一阈值的空洞，并根据所述第一索引图和所述第二索引图确定所述空洞在所述第一视图和所述第二视图中的对应区域，以及在所述对应区域中取值对所述空洞进行填补；S4，对所述虚拟视图中剩余的空洞进行填补。

根据本发明实施例的虚拟视图渲染方法，通过索引图建立虚拟视图与参考视图中的像素的对应关系，确定虚拟视图中的渲染空洞对应于参考视图中的遮挡区域的位置，空洞的填补取自参考视图中的对应区域，能够充分利用两个参考视点的信息，没有明显的处理痕迹，虚拟视图的真实感强，并且图像绘制速度快。

在本发明的一个实施例中，所述步骤S1进一步包括以下步骤：以所述第一视图为参考视图，以所述第二视图为目标视图，根据视差计算方法计算所述目标视图相对于所述参考视图的所述第二视差图；以所述第二视图为参考视图，以所述第一视图为目标视图，根据视差计算方法计算所述目标视图相对于所述参考视图的所述第一视差图。

进一步地，所述视差计算方法为立体匹配算法，所述立体匹配算法为基于领域窗口灰度分布的局部匹配算法。

在本发明的一个实施例中，所述步骤S2进一步包括以下步骤：根据所述第一参考视点和所述第二参考视点与虚拟视点的基线距离，确定主参考视点和次参考视点；根据所述主参考视点及所述主参考视点的视差图，按照渲染顺序，对所述虚拟视图进行渲染，并建立所述虚拟视图对应于所述主参考视点的视图的索引图；根据所述次参考视点及所述次参考视点的视差图，按照渲染顺序，对所述虚拟视图进行进一步的渲染，并建立所述虚拟视图对应于所述次参考视点的视图的索引图。

通过索引图建立虚拟视图与第一视图和第二视图中的像素的对应关系。

其中，所述渲染顺序包括：基于主参考视点对其次参考视点方向的虚拟视图进行渲染时，从图像的主参考视点方向到次参考视点方向进行渲染；基于次参考视点对其主参考视点方向的虚拟视图进行渲染时，从图像的次参考视点方向到主参考视点方向进行渲染。

按照上述渲染顺序进行渲染，能够避免在前的渲染结果被在后的渲染结果覆盖。

并且，基于所述主参考视点对所述虚拟视图进行的渲染的优先级高于基于所述次参考视点对所述虚拟视图进行的渲染。