[发明专利]虚拟视点视频序列的生成方法及生成装置

权利要求书

1.一种虚拟视点视频序列的生成方法，包括以下步骤：

A．输入N个原始视点的时长为T的视频序列和对应的深度图序列，其中N为正整数，T为正数；

B．获取t时刻的第n个原始视点彩色图P_n,O和对应的深度图D_n，O，以及所述第n个原始视点与所述虚拟视点的相对位置，其中t∈(0,T]，n∈(0,N]且n为整数；

C．对所述第n个原始视点深度图D_n,O中各个像素按深度值大小进行排序，得到排序结果；

D．根据所述排序结果，对所述第n个原始视点彩色图P_n,O从小到大依次进行像素偏移，得到第n个原始视点偏移彩色图P′_n，O，并对未偏移的像素进行标记；

E．对所述第n个原始视点偏移彩色图P′_n,O进行空洞填充处理，得到与所述第n个原始视点对应的所述虚拟视点的第n个初始彩色图P′_n,V；

F．提取所述虚拟视点的第n个初始彩色图P′_n,V的边缘信息，记为I^v，n，同时提取所述第n个原始视点的深度图D_n，O的边缘信息，记为I^d，n；

G．根据所述I^v，n和I^d，n，计算所述虚拟视点的第n个初始彩色图P′_n,V的边缘评价值，将所述边缘评价值与预定阈值作比较，若所述边缘评价值大于所述预定阈值，则对所述虚拟视点的第n个初始彩色图P′_n,V进行边缘修正，直到若所述边缘评价值小于阈值为止，得到虚拟视点的第n个平滑彩色图P_n,V；

H．重复步骤B-G，得到t时刻下所述N个原始视点对应的所述虚拟视点的N个平滑彩色图P_n，V，并将所述N个平滑彩色图P_n,V合成为一个t时刻的虚拟视点最终彩色图Pv；以及

I．重复步骤H，以得到各个时刻的所述虚拟视点最终彩色图Pv并最终得到所述虚拟视点视频序列。

2.根据权利要求1所述的虚拟视点视频序列的生成方法，其特征在于：所述第n个原始视点与所述虚拟视点的相对位置包括所述第n个原始视点在所述虚拟视点的相对左右位置，和所述第n个原始视点与所述虚拟视点的平行距离。

3.根据权利要求1所述的虚拟视点视频序列的生成方法，其特征在于：所述排序的方法为快速排序法。

4.根据权利要求1所述的虚拟视点视频序列的生成方法，其特征在于：对所述第n个原始视点彩色图P_n,O依次进行像素偏移的步骤包括按照下述公式计算偏移距离d：d=±α（Z_depth-ZPP），其中±表示所述第n个原始视点与所述虚拟视点的相对位置，α为正系数，Z_depth为第n个原始视点彩色图中像素的深度值，ZPP为零视差平面深度值。

5.根据权利要求1所述的虚拟视点视频序列的生成方法，其特征在于：所述空洞填充处理包括：搜寻未偏移像素相邻位置的第一个偏移像素，通过差值或滤波的方式得到所述未偏移像素的值。

6.根据权利要求1所述的虚拟视点视频序列的生成方法，其特征在于：所述边缘信息通过使用索贝尔边缘提取算子或拉普拉斯边缘提取算子得到。

7.根据权利要求1所述的虚拟视点视频序列的生成方法，其特征在于：所述步骤G中，所述第n个虚拟视点初始彩色图P′_n,V的边缘评价值的计算公式为：其中为边缘评价值，E是所述第n个原始视点深度图D_n，O边缘信息的像素集合，I^v，n是所述虚拟视点的第n个初始彩色图P′_n,V的边缘信息，I^d，n是第n个原始视点深度图D_n,O的边缘信息，I_（x，y）的计算公式为：当对应像素（x,y）边缘信息存在时，I_（x，y）＝1，否则I_（x，y）＝0。