[发明专利]基于超像素分割与图割的网状物检测与去除方法和系统

说明书

本发明提供一种基于超像素分割与图割理论的网状遮挡物去除方法和系统，目的在于对许多摄影场景下网状遮挡物进行去除并修复出原图片中被遮挡的部分。包括以下部分：基于SEEDS算法进行图像超像素分割，基于图割理论进行超像素块融合，获取网状遮挡物样本，SVM分类，全变分法图像修复。与以往的方法不同，该方法不需要借助外界信息，仅凭借图像的信息就可以对图像有较好的修复效果；其次，由于使用了SEEDS算法，在计算速度上也比目前的算法速度要快；最后，在图像修复方面，全变分法属于扩散模型，对这种细长条状的物体的修复效果更好，修复处更为平滑，当图像中的网状物越细长时，图像的修复效果越好。

技术领域

本发明涉及一种图像物体检测与修复的技术方案，通过定义一种新型的图像特征对物体进行检测并最终修复，属于图像处理领域。

背景技术

随着科技的迅速发展，人们已经可以随时随地地通过数码相机，手机等工具来拍照。但是在很多情境下，由于场景的限制，照片上会有许多遮挡物影响照片的质量。例如，在动物园中对动物拍照需要隔着很厚的铁丝网。又例如，在许多体育馆里也会有许多铁丝网将观众与运动员隔离。

这些网状物的存在极大地影响了照片的质量并代入了大量的照相者不愿引入的多余信息。据统计，这类网状物所占的像素数量往往可以占据图片总像素数20％以上，在这种情况下，对网状物检测并修复得到网状物遮挡后的图像就显得比较有必要了。

网状遮挡物的去除，英文为“de-fencing”，是由Liu在2008年提出的一个概念，他将de-fencing分为了三个步骤：(1)网状物的感知(2)遮挡物的分割(3)去掉遮挡后图像的修复。

在Liu提出这个概念之后，随后的研究思路也大致与Liu类似，因此，下面简要介绍各个步骤的具体内容。

对网状物的感知，其实就是要将网状物与图像区分开，。而在实际拍摄中，网状物往往是“前景”，而我们想要得到的图片则是“背景”。于是，对网状物的感知其实也就是将图像进行前景与背景的分割，不过与以往所不同的是，这里人们真正关心的是“背景”，而不再是“前景”。

遮挡物的分割，则是对网状遮挡物提取的重要手段。这是因为，网状物的数学特征往往是，局部方差小，纹理成方格状。如果将网状遮挡物作为一个整体进行识别，会有很大的困难，因为网状物的区域如果单纯的用矩形框进行搜索，其数学特征和纹理特征是会随着方格内容而变化的。因此，需要将遮挡物分割开，对每一个小块进行检测，这样对网状物的特征相比与背景则更为明显，也更易于识别和处理。

去掉遮挡后的图像修复，涉及到了图像补全。图像补全实际上是利用像素位置区域的局部像素信息(或者是该图像全局的信息)，对图像缺失的部分进行预测和估计，以期望达到以假乱真的效果。在去网状遮挡物中，由于网状物已经检测出来，这一部分就需要由被遮挡的部分代替，去网状遮挡物的图像修复实际上就是对网状遮挡物部分进行图像修复。

对“网状遮挡物去除”这个话题，国内外已经有了许多的研究。Liu^[2]等提出的方法是利用图割算法区分遮挡物与被遮挡物，但弊端是该方法只能将这两者区分开，却无法判断这两者哪个是遮挡物，哪个是被遮挡物。Zou^[3]则利用了图像的深度信息，通过深度则可以很轻易地将前景和背景分割开，但是这种方法依赖于图像地深度信息，对一些难以获取深度信息的场景又不太实用。Jonna^[4]则使用了大量的标记图像作为正负样本，通过神经网络来完成该工作，这么做不但需要大量样本进行训练，而且其泛化能力也有待考察。

本方法则是通过图割，找到最接近网状遮挡物的部分，将其进行正样本进行分类，这么做的好处是充分利用了图像内部的信息而不需要其他的外部信息，解决了以上方法的不足，同时准确率又较高。与以上几种方法相比，是一种性能较为突出的方法。

相关参考文献如下：