[发明专利]一种基于图割优化的全景影像修补方法及系统

摘要

一种基于图割优化的全景影像修补方法及系统，包括将全景影像进行投影变换，得到一幅透视投影图片，使待修补区域位于透视投影图片的中央区域；根据指示影像中缺失区域位置的灰度模板图片，采用基于图割的方法进行修补；进行影像亮度的全局增益补偿以及亮度的调和，然后反投影在原始的360度全景影像上；进行全景影像羽化，得到全景影像修补结果。本发明的优点在于，仅利用单张全景影像就可以将影像中由于平台遮挡所造成的缺失部分快而有效地修补完整，整个匹配过程快而准确，解决了初始修补后的透视投影图片中存在的亮度不一致的问题，得到没有修补痕迹的完整的全景影像。

主权项

1.一种基于图割优化的全景影像修补方法，其特征在于，包括以下步骤：步骤1，将全景影像进行投影变换，得到一幅透视投影图片，使待修补区域位于透视投影图片的中央区域；步骤2，对步骤1中得到的透视投影图片，根据指示影像中缺失区域位置的灰度模板图片，采用基于图割的方法进行修补，实现步骤如下，步骤2.1，将投影图像从RGB转到YCbCr空间；步骤2.2，对转换到YCbCr空间的图像，基于尺寸为P×P的patch，逐像素进行离散的Walsh‑Hadamard变换，一个P×P的patch对应得到一个24维的WHT特征(w1,w2,w3…w24)T；所述patch为子块；步骤2.3，根据每一个patch对应的24维的WHT特征向量，基于特征向量进行KD树的划分；步骤2.4，基于步骤2.3划分出的KD树，快速地进行patch的匹配；匹配的方式为，寻找作为匹配结果的候选patch，设pA(x,y)是待匹配的patch，依次遍历pA(x,y)代表像素的4邻域邻接像素，得到总的候选patch集合；在所得pA(x,y)的候选patch集合中寻找与pA(x,y)最佳匹配的patch，并计算对应的二维坐标偏移量，计算公式如下，其中，s＝(u,v)是一个二维的坐标偏移量，x＝(x,y)，是pA(x,y)的位置坐标；||·||表示patch在24维WHT特征空间的欧氏距离；τ为近距离约束的预设阈值；步骤2.5，对所有的patch匹配完成后，对所有计算得到的s＝(u,v)的集合记为S；对S进行统计，提取出代表影像中已知区域结构特征的K个主要的坐标偏移量，作为图片结构特征的主要偏移量S′；K为预设的值；步骤2.6，将S′中的每一个坐标偏移量记为一个标记，构成一个标记集合L，基于图割优化的方法，进行影像的修补；步骤3，进行影像亮度的全局增益补偿以及亮度的调和，实现步骤如下，步骤3.1，将修补后的彩色影像从RGB颜色空间转到Lαβ颜色空间；步骤3.2，进行亮度通道的全局增益补偿；步骤3.3，将K幅进行了增益补偿后的子图像与原始已知的背景图像，共K+1幅图像进行多影像的融合，进一步调整各个子图像与原始背景之间的亮度差异，得到修补调整后的透视投影图片；步骤4，按照步骤1的逆过程，将步骤3所得修补调整后的透视投影图片反投影在原始的360度全景影像上；步骤5，进行全景影像羽化，得到全景影像修补结果。