[发明专利]一种图像空洞填补的多尺度全局采样方法

权利要求书

1.一种图像空洞填补的多尺度全局采样方法，其特征在于包括以下步骤：

(1)将输入图像划分为几何层和纹理层，利用张量投票恢复出图像空洞区域的几何层；接着检测出主要简约图表达中结构部分与图像空洞区域相交的连接点，包括T型和Y型的连接点，然后根据连接点之间的弹性能量和张量投票恢复出图像空洞区域的结构线，最后利用信任传播恢复出图像空洞区域中曲线上的图像块即结构信息；

(2)对图像空洞区域进行多尺度的网格划分，形成空洞区域的多尺度图结构，在多尺度图结构上定义针对空洞填补问题的后验概率模型，并通过基于模拟退火的马尔科夫链蒙特卡罗方法，求解该后验概率模型的全局最优解；

其中，图像空洞区域的多尺度图结构由图节点构成；图节点以空洞区域多尺度网格划分后的图像块为基本单元；在每个尺度上，图节点的赋值来源于对图像已知区域多尺度稠密采样得到的标签字典集合；图节点的状态信息包括：图节点标号、是否包含已知图像数据、是否存在邻居图节点及邻居图节点标号、图节点当前赋值标签的编号、图节点当前状态的代价值；

根据多尺度图结构，空洞填补问题的直观描述是为每一个图节点赋值一个标签，标签采样于标签字典集合；其中任何一个图节点的赋值只与它邻近的图节点有关，即图节点的邻居图节点决定该图节点的外观；通过计算多尺度图结构中每个图节点状态，形成一个多尺度的马尔科夫随机场；在此基础上，利用马尔科夫随机场对多尺度图结构建模，定义针对空洞填补问题的后验概率模型；

利用基于模拟退火的马尔科夫链蒙特卡罗方法，在后验概率模型的解空间做采样，通过接受概率控制解在解空间的随机游走，最终收敛到全局最优解，达到后验概率最大化；该过程与初始解无关；

(3)根据全局最优解对应的空洞区域整体采样集，合成图像空洞区域的缺失图像信息；最终的全局最优解是一个赋值的标签集合，通过将所选标签对应的图像块粘贴到相应的图节点，合成图像空洞区域的缺失图像信息，实现图像空洞填补。

2.如权利要求1所述的一种图像空洞填补的多尺度全局采样方法，其特征在于：在各个尺度上，稠密采样图像已知区域，提取图像块作为标签，提取标签的上、下、左、右四个方向的矩形图像块作为邻居标签；在每个尺度上，标签的大小与图节点的大小相同；标签和矩形邻居标签共同组成标签字典；标签字典集合利用KD树组织。

3.如权利要求1所述的一种图像空洞填补的多尺度全局采样方法，其特征在于：所述的后验概率模型包括似然概率和先验概率两个部分；似然概率是求解与已知图像区域有重叠的图节点赋值的概率，考虑填充标签和图节点所包含已知图像之间的相容程度；先验概率是求解与已知图像区域完全没有重叠的图节点赋值的概率，利用马尔科夫随机场进行建模，并且只考虑相邻两个图节点之间的关系，以及相邻图节点与填充标签的融合程度；图像空洞区域已恢复的结构信息指导后验概率模型的优化。

4.如权利要求1所述的一种图像空洞填补的多尺度全局采样方法，其特征在于：所述后验概率模型全局最优解的采样求解过程是在一个尺度上首先随机选择一个图节点，在当前解状态下利用四个邻居图节点提取该图节点的四个矩形邻居标签，根据这四个邻居标签在标签字典集合中搜索到具有相似邻居的标签，形成候选标签集合，从候选标签集合中随机选择一个标签，根据定义好的状态接收概率翻动一个图节点的赋值状态，得到一个新的解；以上求解过程重复迭代，直到达到终止条件。

5.如权利要求1所述的一种图像空洞填补的多尺度全局采样方法，其特征在于：所述后验概率模型全局最优解的采样求解过程是在多个尺度上进行的一个由粗到精的过程，在最大尺度上的初始解为随机赋值的标签集合，大尺度上的解作为较小尺度上的初始解，最小尺度上的采样迭代结束后得到最终全局最优解。