[发明专利]虚拟视点视频序列的生成方法及生成装置

说明书

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种虚拟视点视频序列的生成方法及生成装置。

背景技术

自由视点视频序列处理是立体视频处理技术中非常关键的组成部分，并且拥有非常广泛的应用，可应用于立体视频欣赏、自由视点多角度观赏、虚拟现实以及立体游戏等场景，在提高传统平面视频视觉体验的基础上，也能够给观众提供更多的信息。

对于自由视点视频序列显示而言，如果所有的角度都采用摄像机采集的方式，能够保证良好的视频质量，但是会产生很大的计算量。因此，在采集视频的基础上，通过立体视频生成的方式，在保证视频质量的基础上也提高了计算速度——这也是生成虚拟视点的意义所在。

传统的自由视点视频序列绘制的过程中，通过原视频和深度图，然后进行像素偏移、空洞填充和错误修复等步骤，能够得到虚拟视点的视频。但是这种方式对于虚拟视点中的空洞像素没有很好的处理方法，一般常用的空洞填充方法有插值、滤波等，他们往往都会在虚拟视点中出现或多或少的不自然感，减少这种失真一直是学者们努力的方向。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种失真较少、效率较高的虚拟视点视频序列的生成方法。本发明的另一目的在于提出一种失真较少、效率较高的虚拟视点视频序列的生成装置。

为了实现上述目的，根据本发明第一方面的虚拟视点视频序列的生成方法包括步骤：A．输入N个原始视点的时长为T的视频序列和对应的深度图序列，其中N为正整数，T为正数；B．获取t时刻的第n个原始视点彩色图P_n,O和对应的深度图D_n，O，以及所述第n个原始视点与所述虚拟视点的相对位置，其中t∈(0,T]，n∈(0,N]且n为整数；C．对所述第n个原始视点深度图D_n,O中各个像素按深度值大小进行排序，得到排序结果；D．根据所述排序结果，对所述第n个原始视点彩色图P_n,O从小到大依次进行像素偏移，得到第n个原始视点偏移彩色图P′_n,O，并对未偏移的像素进行标记；E．对所述第n个原始视点偏移彩色图P′_n,O进行空洞填充处理，得到与所述第n个原始视点对应的所述虚拟视点的第n个初始彩色图P′_n,V；F．提取所述虚拟视点的第n个初始彩色图P′_n,V的边缘信息，记为I^v，n，同时提取所述第n个原始视点的深度图D_n,O的边缘信息，记为I^d，n；G．根据所述I^v，n和I^d，n，计算所述虚拟视点的第n个初始彩色图P′_n,V的边缘评价值，将所述边缘评价值与预定阈值作比较，若所述边缘评价值大于所述预定阈值，则对所述虚拟视点的第n个初始彩色图P′_n,V进行边缘修正，直到若所述边缘评价值小于阈值为止，得到虚拟视点的第n个平滑彩色图P_n,V；H．重复步骤B-G，得到t时刻下所述N个原始视点对应的所述虚拟视点的N个平滑彩色图P_n，V，并将所述N个平滑彩色图P_n,V合成为一个t时刻的虚拟视点最终彩色图Pv；以及I．重复步骤H，以得到各个时刻的所述虚拟视点最终彩色图Pv并最终得到所述虚拟视点视频序列。

在本发明的方法的一个实施例中，所述第n个原始视点与所述虚拟视点的相对位置包括所述第n个原始视点在所述虚拟视点的相对左右位置，和所述第n个原始视点与所述虚拟视点的平行距离。

在本发明的方法的一个实施例中，所述排序的方法为快速排序法。

在本发明的方法的一个实施例中，对所述第n个原始视点彩色图P_n,O依次进行像素偏移的步骤包括按照下述公式计算偏移距离d：d=±α（Z_depth-ZPP），其中±表示所述第n个原始视点与所述虚拟视点的相对位置，α为正系数，Z_depth为第n个原始视点彩色图中像素的深度值，ZPP为零视差平面深度值。

在本发明的方法的一个实施例中，所述空洞填充处理包括：搜寻未偏移像素相邻位置的第一个偏移像素，通过差值或滤波的方式得到所述未偏移像素的值。

在本发明的方法的一个实施例中，所述边缘信息通过使用索贝尔边缘提取算子或拉普拉斯边缘提取算子得到。