[发明专利]多视点视频中虚拟视点合成方法及装置

权利要求书

1.一种多视点视频中虚拟视点合成方法，其特征在于，包括：

步骤1、根据第一摄像机得到的第一参考视点图像及其深度图像、第一摄像机参数，对所述第一参考视点图像进行三维图像变换，得到第一虚拟视点图像及其深度图像和空洞图；以及，根据第二摄像机得到的第二参考视点图像及其深度图像、第二摄像机参数，对所述第二参考视点图像进行三维图像变换，得到第二虚拟视点图像及其深度图像和空洞图；

步骤2、根据所述第一虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第一虚拟视点图像进行小洞填充，得到小洞填充后的第一虚拟视点图像；以及根据所述第二虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第二虚拟视点图像进行小洞填充，得到小洞填充后的第二虚拟视点图像；

步骤3、将小洞填充后的第一虚拟视点图像与第二虚拟视点图像作为彼此的参考图像，进行图像互补，分别得到图像互补后的第一虚拟视点图像和第二虚拟视点图像；

步骤4、将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行融合，得到主虚拟视点图像；

步骤5、对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，得到深度图处理后的第一参考视点图像和第二参考试点彩色图像；再按照上述步骤1～步骤4对深度图处理后的第一参考视点图像和第二参考试点彩色图像进行相应的处理，得到副虚拟视点图像；

步骤6、根据所述副虚拟视点图像对所述主虚拟视点图像进行空洞填补，生成虚拟视点图像。

2.如权利要求1所述的方法，其特征在于，上述步骤1中，对所述第一参考视点图像进行三维图像变换，包括：

步骤a1、将所述第一参考视点图像中的像素点映射到三维空间中；

步骤b1、将步骤a1中已经映射到三维空间之后的像素点重投影到第一虚拟视点图像上；

步骤c1、采用Z-fuffer和取整方法对所述第一虚拟视点图像中的像素点的坐标值进行筛选；

对所述第二参考视点图像进行三维图像变换，包括：

步骤a2、将所述第二参考视点图像中的像素点映射到三维空间中；

步骤b2、将步骤a2中已经映射到三维空间之后的像素点重投影到第二虚拟视点图像上；

步骤c2、采用Z-fuffer和取整方法对所述第二虚拟视点图像中的像素点的坐标值进行筛选。

3.如权利要求2所述的方法，其特征在于：

在所述步骤a1、步骤b1和步骤c1中，第一参考视点图像中的像素点的坐标点所在的图像坐标系为：以第一参考视点图像的左上角为原点，沿水平方向为横坐标，沿竖直方向为纵坐标；在所述步骤a2、步骤b2和步骤c2中，第二参考视点图像中的像素点的坐标点所在的图像坐标系为：以第二参考视点图像的左上角为原点，沿水平方向为横坐标，沿竖直方向为纵坐标；

所述三维空间的空间坐标系为：以屏幕的左下角为原点，该空间坐标系的x轴沿屏幕平面的竖直方向，y轴沿屏幕平面的水平方向。

4.如权利要求1所述的方法，其特征在于，对所述第一虚拟视点图像进行小洞填充，包括：根据所述第一虚拟视点图像的空洞图中的像素值，确定出在所述第一虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为0的点m1，在所述第一虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点n1；将n1点在所述第一虚拟视点图像中的像素信息赋予m1点；

对所述第二虚拟视点图像进行小洞填充，包括：根据所述第二虚拟视点图像的空洞图中的像素值，确定出在所述第二虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为0的点m2，在所述第二虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点n2；将n2点在所述第二虚拟视点图像中的像素信息赋予m2点。