[发明专利]一种图像空洞填补的多尺度全局采样方法

摘要

本发明提供一种图像空洞填补的多尺度全局采样方法，主要包括以下步骤：将输入图像划分为几何层和纹理层，利用张量投票恢复出图像空洞区域的几何层；对图像空洞区域进行多尺度的网格划分，形成空洞区域的多尺度图结构，在多尺度图结构上定义针对空洞填补问题的后验概率模型，并通过基于模拟退火的马尔科夫链蒙特卡罗方法，求解该后验概率模型的全局最优解；根据全局最优解对应的空洞区域整体采样集，合成图像空洞区域的缺失图像信息。本发明可以寻找到一个全局的最好图像块贴到空洞区域，填补或者修复虚拟场景对象提取和场景编辑过程中产生的“空洞”，克服空洞填补过程不可逆而造成的对复杂图像或者空洞区域面积较大情况的填补效果不佳问题。

主权项

一种图像空洞填补的多尺度全局采样方法，其特征在于包括以下步骤：(1)将输入图像划分为几何层和纹理层，利用张量投票恢复出图像空洞区域的几何层；接着检测出主要简约图表达中结构部分与图像空洞区域相交的连接点，包括T型和Y型的连接点，然后根据连接点之间的弹性能量和张量投票恢复出图像空洞区域的结构线，最后利用信任传播恢复出图像空洞区域中曲线上的图像块即结构信息；(2)对图像空洞区域进行多尺度的网格划分，形成空洞区域的多尺度图结构，在多尺度图结构上定义针对空洞填补问题的后验概率模型，并通过基于模拟退火的马尔科夫链蒙特卡罗方法，求解该后验概率模型的全局最优解；其中，图像空洞区域的多尺度图结构由图节点构成；图节点以空洞区域多尺度网格划分后的图像块为基本单元；在每个尺度上，图节点的赋值来源于对图像已知区域多尺度稠密采样得到的标签字典集合；图节点的状态信息包括：图节点标号、是否包含已知图像数据、是否存在邻居图节点及邻居图节点标号、图节点当前赋值标签的编号、图节点当前状态的代价值；根据多尺度图结构，空洞填补问题的直观描述是为每一个图节点赋值一个标签，标签采样于标签字典集合；其中任何一个图节点的赋值只与它邻近的图节点有关，即图节点的邻居图节点决定该图节点的外观；通过计算多尺度图结构中每个图节点状态，形成一个多尺度的马尔科夫随机场；在此基础上，利用马尔科夫随机场对多尺度图结构建模，定义针对空洞填补问题的后验概率模型；利用基于模拟退火的马尔科夫链蒙特卡罗方法，在后验概率模型的解空间做采样，通过接受概率控制解在解空间的随机游走，最终收敛到全局最优解，达到后验概率最大化；该过程与初始解无关；(3)根据全局最优解对应的空洞区域整体采样集，合成图像空洞区域的缺失图像信息；最终的全局最优解是一个赋值的标签集合，通过将所选标签对应的图像块粘贴到相应的图节点，合成图像空洞区域的缺失图像信息，实现图像空洞填补。