[发明专利]一种基于多方向预测的虚拟视角图像空洞填补方法

摘要

本发明提供了一种基于多方向预测的虚拟视角图像空洞填补方法，它是根据基于深度图的绘制算法，空洞区域都是位于背景区域的某些部分，需要使用背景部分的信息作为参考进行填补。在对大空洞的空像素点进行填补时，使用面向背景一侧的三个方向上的可用像素点做参考进行预测插值，并根据预测模式的具体公式进行插值计算，因此插值的精确度较高；能够在保证图像修复效果的前提下快速完成虚拟视角的空洞填补。由于本发明在三维绘制前对深度图像未做平滑滤波处理，也就避免了绘制出的虚拟视角图像中垂直边界上出现的几何失真。

主权项

一种基于多方向预测的虚拟视角图像空洞填补方法，其特征是它包括以下步骤：步骤1，输入图像初始化首先，将输入的原始图像记为X，这里，xi,j是图像X中的像素点，i代表X中像素点的横坐标，j代表X中像素点的纵坐标，W1代表X的宽度，H1代表X的高度，i、j、W1和H1都是自然数，并且1≤i≤H1，1≤j≤W1；然后，将输入的原始图像X的深度图像记为Y，这里，yu,v是图像Y中的像素点，u代表Y中像素点的横坐标，v代表Y中像素点的纵坐标，W2代表Y的宽度，H2代表Y的高度，u、v、W2和H2都是自然数，并且1≤u≤H2，1≤v≤W2；步骤2，产生虚拟视角图像用步骤1中输入的深度图像Y对原始图像X进行标准的三维绘制，得到虚拟左视角图像和虚拟右视角图像，分别记为DL和DR，这里，是图像DL中的像素点，m1代表DL中像素点的横坐标，n1代表DL中像素点的纵坐标，M1代表图像DL的宽度，N1代表图像DL的高度，m1、n1、M1和N1都是自然数，并且1≤m1≤N1，1≤n1≤M1；是图像DR中的像素点，m2代表DR中像素点的横坐标，n2代表DR中像素点的纵坐标，M2代表DR的宽度，N2代表DR的高度，m2、n2、M2和N2都是自然数，并且1≤m2≤N2，1≤n2≤M2；步骤3，虚拟左视角图像的空洞划分首先，将虚拟左视角图像中用来划分空洞大小的阈值，记为TL，这里，TL为自然数；接着，对步骤2产生的虚拟左视角图像DL按照从上到下、从左到右的顺序进行逐行扫描，将扫描过程中得到的空洞记为HLk，将空洞HLk所对应的空洞宽度记为WLk,这里，k为图像DL中空洞的索引下标，k为自然数；最后，用空洞宽度WLk小于或等于阈值TL的空洞HLk组成虚拟左视角图像的小空洞集合，记为GL1，GL1＝{HLk|WLk≤TL}；用空洞宽度WLk大于阈值TL的空洞HLk组成虚拟左视角图像的大空洞集合，记为GL2，GL2＝{HLk|WLk>TL}；步骤4，虚拟右视角图像的空洞划分首先，将虚拟右视角图像中用来划分空洞大小的阈值，记为TR，这里，TR为自然数；接着，对步骤2产生的虚拟右视角图像DR按照从上到下、从右到左的顺序进行逐行扫描，将扫描过程中得到的空洞记为HRl，将空洞HRl所对应的空洞宽度记为WRl,这里，l为图像DR中空洞的索引下标，l为自然数；最后，用空洞宽度WRl小于或等于阈值TR的空洞HRl组成虚拟右视角图像的小空洞集合，记为GR1，GR1＝{HRl|WRl≤TR}；用空洞宽度WRl大于阈值TR的空洞HRl组成虚拟右视角图像的大空洞集合，记为GR2，GR2＝{HRl|WRl>TR}；步骤5，虚拟左视角图像的空洞填补首先，将虚拟左视角图像DL中空洞HLk的左侧背景区域内最邻近的非空洞像素点记为PL1，将HLk左上方背景区域内最邻近的非空洞像素点记为PL2，将HLk左下方背景区域内最邻近的非空洞像素点记为PL3；其次，定义填补后的空洞为HL′k；如果虚拟左视角图像DL中的空洞HLk∈GL1，那么对HLk用PL1按照HL′k＝PL1进行填补；如果虚拟左视角图像DL中的空洞HLk∈GL2，那么用PL1、PL2和PL3对HLk按照HL′k＝(4×PL1‑PL2‑PL3‑2)/2进行填补；最后，得到空洞填补后的虚拟左视角图像，记为DL2，这里，是虚拟左视角图像DL2中的像素点，m3代表DL2中像素点的横坐标，n3代表DL2中像素点的纵坐标，M3代表DL2的宽度，N3代表DL2的高度，m3、n3、M3和N3都是自然数，并且1≤m3≤N3，1≤n3≤M3；步骤6，虚拟右视角图像空洞填补首先，将虚拟右视角图像DR中空洞HRl右侧背景区域内最邻近的非空洞像素点记为PR1，将HRl右上方背景区域内最邻近的非空洞像素点记为PR2，将HRl右下方背景区域内最邻近的非空洞像素点记为PR3；其次，定义填补后的空洞为HR′l，如果虚拟右视角图像DR中的空洞HRl∈GR1，那么对HLk用PR1按照HR′l＝PR1进行填补；如果虚拟右视角图像DR中的空洞HRl∈GR2，那么用PR1、PR2和PR3对HRl按照HR′l＝(4×PR1‑PR2‑PR3‑2)/2进行填补；最后，得到空洞填补后的虚拟右视角图像，记为DR2，这里，是虚拟右视角图像DR2中的像素点，m4代表DR2中像素点的横坐标，n4代表DR2中像素点的纵坐标，M4代表DR2的宽度，N4代表DR2的高度，m4、n4、M4和N4都是自然数，并且1≤m4≤N4，1≤n4≤M2；步骤7，虚拟视角图像边框修复首先，对步骤5得到的虚拟左视角图像DL2的边框部分，使用标准的图像边框像素点复制法进行边框修复，得到修复后的图像，记为DL3；这里，是虚拟左视角图像DL3中的像素点，m5代表DL3中像素点的横坐标，n5代表DL3中像素点的纵坐标，M5代表DL3的宽度，N5代表DL3的高度，m5、n5、M5和N5都是自然数，并且1≤m5≤N5，1≤n5≤M5；其次，对步骤6得到的虚拟右视角图像DR2的边框部分，使用标准的图像边框像素点复制法进行边框修复，得到修复后的图像，记为DR3，这里，是虚拟右视角图像DR3中的像素点，m6代表DR3中像素点的横坐标，n6代表DR3中像素点的纵坐标，M6代表DR3的宽度，N6代表DR3的高度，m6、n6、M6和N6都是自然数，并且1≤m6≤N6，1≤n6≤M6。