[发明专利]深度图辅助的主动轮廓抠图方法及系统

说明书

本发明公开了一种深度图辅助的主动轮廓抠图方法及系统，该方法包括如下步骤：获取彩色目标图像的深度图，采用修补算法对深度图进行处理，获得修补后的深度图；对修补后的深度图和目标图像进行置信计算，得到深度置信图和彩色置信图；利用深度置信图和彩色置信图进行水平集分割，获取最终的目标轮廓，得到所需的三分图；分别获取彩色图的抠图结果以及深度图得到的抠图结果，设置色彩差异度来度量前景与背景的距离值，当距离值小于给定阈值T时，采用彩色抠图结果，反之采用深度抠图结果。本发明能够较好的解决图像前后背景相似的情况，并且在分割的过程中更贴近待分割对象的边界，从而更好的保持物体的几何拓扑性，得到所需的二值分割结果。

技术领域

本发明属于三维重建技术领域，涉及对目标对象进行前景估计实现前后背 景信息的分离(抠图)，具体涉及一种深度图辅助的主动轮廓抠图方法及系统。

背景技术

2017年被称为人工智能的元年，这得益于高速发展的计算能力。与此同时， 不断更新迭代的计算能力促进了计算机视觉的发展，而其中三维重建技术得到 了前所未有的关注。在三维重建中，关注的对象不仅仅再是现实生活中的物体， 更多的是使用虚拟的模型来表现生活中真实的对象。

那么，如何实现用虚拟模型来刻画真实物体呢？目前业界较为流行的主要 有两种方法：第一种即是使用精密仪器对物体进行三维重建，比较典型的有激 光扫描仪，其能较好的获取到物体的特征坐标，尤其是一些衡量距离的深度信 息等，此类方法比较适合室内物体或者是室外空间较大的物体；第二种是利用 多视图的方法，即是使用相机拍摄目标物体的一系列二维图像来恢复其三维信 息，其核心原理即是为人熟知的立体视觉方法。

使用多视图方法进行三维重建的基本步骤包括：数据预处理、稀疏重建、 稠密重建以及曲面重建等。数据预处理是三维重建的先序步骤，即是获取目标 物体的一系列二维图像，实际中获取到的二维图像往往会包含较多的噪点，这 对三维重建的后续步骤产生了一定的干扰。若能在获取二维图像这一先序步骤 中即将待测对象与背景进行分离，这样既保留目标物体的相关特征，又能去除 大量的噪点，则必然能够更好的辅助后续的三维重建过程。

抠图(matting)方法正可以用于解决三维重建的获取二维图这一先序步骤 中所存在的问题。抠图方法指的是在图像或是视频中进行准确的前景估计，其 是许多图像编辑以及电影制作中的关键技术之一，现如今已在学术界以及工业 界得到了广泛的应用，如视觉效果制作、目标检测、三维重建等。

针对抠图问题而言，国内外均早已对其进行了深入研究。抠图问题最早由 Smith等人定义，即是从自然图像中提取前景对象的不透明度信息。从数学上来 说，可以将一张图视作为前景和背景按照一定的不透明度(α)的合成，如下式 于是，抠图问题本质上变成了针对以下公式求解α的问题：

I＝αF+(1-α)B

其中，I指代原始图像、F是前景、B是背景、α则是不透明度，其为介于0 到1之间的浮点数。但是针对该式求解α是相当困难的，因为该式是欠约束的， 也即是在该式中，只有一个I已知，其余三个参数均为未知数。因此，Smith等 人提出了一种用于求解该式的Triangulation Matting方法，该方法是一种添 加额外约束的方法，即是假定上式中的I和B作为已知参数，那么就可以对F进 行求解，进一步的可以针对α进行求解。

因此，尽管上式是欠约束的，但是使用额外用户输入是可以针对上式进行 求解的。比较典型的用户输入有三分图(trimaps)以及划痕(scribbles)。 以trimaps为例，其将原始图像分为三个部分：背景区域、前景区域以及未知 区域。使用trimaps，就可以通过α已知的区域对α未知的区域进行求解，最终 计算出所有的α值。使用trimaps来进行抠图研究的方法已屡见不鲜，只要能提 供相对精确的trimaps，那么所得到的抠图结果也会相对较好，因为只要trimaps 越精确，那么需要估计的未知变量也就越少，而且在此过程中能够使用的前景 背景信息也就越多。