[发明专利]虚拟视点视频序列的生成方法及生成装置

摘要

本发明提出一种虚拟视点视频序列的生成方法及装置，该方法包括以下步骤：输入若干个原始视点的视频序列及其深度图序列；记录各个原始视点与虚拟视点的相对位置；对原始视点的深度图进行深度值排序；根据排序结果对原始视点的彩色图进行迁移和空洞填充处理，得到虚拟视点初始彩色图；利用原始视点深度图的边缘信息和虚拟视点初始彩色图的边缘信息计算边缘评价值；若边缘评价值大于预定阈值则进行修正，得到的虚拟视点平滑彩色图；将各个原始视点对应的虚拟视点平滑彩色图合成为一张最终彩色图，并进一步得到虚拟视点视频序列。本发明的方法可以在提供任意数目原始视点视频序列的情况下，以较高效率生成失真较小的虚拟视点视频序列。

主权项

一种虚拟视点视频序列的生成方法，包括以下步骤：A．输入N个原始视点的时长为T的视频序列和对应的深度图序列，其中N为正整数，T为正数；B．获取t时刻的第n个原始视点彩色图Pn,O和对应的深度图Dn，O，以及所述第n个原始视点与所述虚拟视点的相对位置，其中t∈(0,T]，n∈(0,N]且n为整数；C．对所述第n个原始视点深度图Dn,O中各个像素按深度值大小进行排序，得到排序结果；D．根据所述排序结果，对所述第n个原始视点彩色图Pn,O从小到大依次进行像素偏移，得到第n个原始视点偏移彩色图P′n，O，并对未偏移的像素进行标记；E．对所述第n个原始视点偏移彩色图P′n,O进行空洞填充处理，得到与所述第n个原始视点对应的所述虚拟视点的第n个初始彩色图P′n,V；F．提取所述虚拟视点的第n个初始彩色图P′n,V的边缘信息，记为Iv，n，同时提取所述第n个原始视点的深度图Dn，O的边缘信息，记为Id，n；G．根据所述Iv，n和Id，n，计算所述虚拟视点的第n个初始彩色图P′n,V的边缘评价值，将所述边缘评价值与预定阈值作比较，若所述边缘评价值大于所述预定阈值，则对所述虚拟视点的第n个初始彩色图P′n,V进行边缘修正，直到若所述边缘评价值小于阈值为止，得到虚拟视点的第n个平滑彩色图Pn,V；H．重复步骤B‑G，得到t时刻下所述N个原始视点对应的所述虚拟视点的N个平滑彩色图Pn，V，并将所述N个平滑彩色图Pn,V合成为一个t时刻的虚拟视点最终彩色图Pv；以及I．重复步骤H，以得到各个时刻的所述虚拟视点最终彩色图Pv并最终得到所述虚拟视点视频序列。