[发明专利]多视点视频中虚拟视点合成方法及装置

摘要

本发明公开一种多视点视频中虚拟视点合成方法及装置，在保证不带来几何畸变的前提下，提高虚拟视点图像的质量，提高虚拟视点图像的显示效果；方法包括：以第一摄像机和第二摄像机提供的两幅视点图像作为参考视点图像，并分别对该两幅视点图像进行三维图像变换、小洞填充、图像互补和图像融合处理之后得到主虚拟视点图像；再分别对所述两幅视点图像分别进行深度图处理、三维图像变换、小洞填充、图像互补和图像融合处理之后得到副虚拟视点图像；再根据所述副虚拟视点图像对所述主虚拟视点图像进行剩余空洞填充之后，得到最终需要合成的虚拟视点图像。

主权项

一种多视点视频中虚拟视点合成方法，其特征在于，包括：步骤1、根据第一摄像机得到的第一参考视点图像及其深度图像、第一摄像机参数，对所述第一参考视点图像进行三维图像变换，得到第一虚拟视点图像及其深度图像和空洞图；以及，根据第二摄像机得到的第二参考视点图像及其深度图像、第二摄像机参数，对所述第二参考视点图像进行三维图像变换，得到第二虚拟视点图像及其深度图像和空洞图；步骤2、根据所述第一虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第一虚拟视点图像进行小洞填充，得到小洞填充后的第一虚拟视点图像；以及根据所述第二虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第二虚拟视点图像进行小洞填充，得到小洞填充后的第二虚拟视点图像；步骤3、将小洞填充后的第一虚拟视点图像与第二虚拟视点图像作为彼此的参考图像，进行图像互补，分别得到图像互补后的第一虚拟视点图像和第二虚拟视点图像；步骤4、将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行融合，得到主虚拟视点图像；步骤5、对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，得到深度图处理后的第一参考视点图像和第二参考试点彩色图像；再按照上述步骤1～步骤4对深度图处理后的第一参考视点图像和第二参考试点彩色图像进行相应的处理，得到副虚拟视点图像；步骤6、根据所述副虚拟视点图像对所述主虚拟视点图像进行空洞填补，生成虚拟视点图像。