[发明专利]一种实时的轮廓精细化抠像方法及存储介质

说明书

一种实时的轮廓精细化抠像方法及存储介质，该抠像方法获取先验前背景知识，沿着前景的轮廓建立缓冲区掩膜从而可粗略地得到前景范围；将缓冲区掩膜数据下采样到一定比例；结合缓冲区掩膜数据，基于速度优化以及添加人物轮廓形状先验的Grabcut算法对彩色图进行分割，得到该尺度的分割结果；将分割结果上采样到与原始数据相同的分辨率，实现抠图。本发明对原始Grabcut算法进行了优化，优化后的算法速度提升了30％，分割出的轮廓鲁棒性较强，不受周围梯度较大的物体影响，基本沿着真实的目标轮廓走，并且本发明不需要人机交互，在高分辨率视频流下，不依赖昂贵的GPU，可实时提取出人物前景，并能保证边缘的精细。

技术领域

本申请涉及图像处理领域，具体的，涉及一种低成本实时的轮廓精细化抠像方法及存储介质，能够用于包括人物在内的抠像。

背景技术

得益于大规模集成电路的高速发展，摄像头的像素级别越来越高，对于高清视频的处理需求在不断增长。早期的人物的抠像技术效率低下，已经无法在高分辨率的视频流中保持良好的实时性。并且只有在简单特定背景下，才能够达到较好的抠像效果。对于复杂背景，大多数抠像算法需要在多次人机交互的情况下才能够得到令人满意的结果，计算复杂度高，在很大程度上限制了抠像算法的实际应用。当然，当前流行的深度学习算法，可得到较好的抠图效果，但是依赖GPU，使用成本昂贵。

现有技术中对于包括人物抠像在内的各种抠像，主要采用Grabcut算法即图割算法，该算法是基于MRF(Markov Random Field马尔可夫随机场)能量最小化框架兴起的一个研究热点，该理论结合多种理论知识进行全局最优求解。Grabcut算法是对图割算法的改进与发展，是目前图割理论应用于图像分割领域的成熟运用的代表之一。对该算法的改进也有很多，如构建颜色、纹理等信息模型来优化能量函数，增加预处理和迭代步骤以提高效率等，这些方法虽然提高了目标提取结果的精度，但是很耗时。

原始的Grabcut算法基本思想是把整幅图像映射为s-t网络图，参见图1，其中：源点s表示前景终点，汇点t表示背景终点。边集E包含两部分源点汇点和所有其他节点的连接边、图中相邻节点之间的边。边的权值需反映出像素点与前景、背景的相似程度，相邻像素间的颜色差异。该算法首先需要用户简单交互选定前景和背景样本，对前景、背景区域建立GMM(高斯混合模型)，并利用k-means算法初始化GMM，分别计算节点到前背景的距离和相邻节点之间的距离，然后获得分割能量权重，对未知区域构造s-t网络图，接着采用Maxflow(最大流最小割)算法进行切分。分割过程是通过不断迭代更新，使得能量函数逐渐减少，最终能够保证能量函数收敛于最小值，实现图像分割。

因此，对于包括人物抠像在内的各种抠像应用，存在着需要交互、高分辨率下计算复杂度高、边缘不够精细、成本高等缺点，如何能够提高速度，降低成本，以提高抠像精细度成为现有技术亟需解决的技术问题。

发明内容

本发明的目的在于提出一种低成本实时的轮廓精细化抠像方法及存储介质，对Grabcut算法本身做了算法层面的优化，达到效果不变的情况下，速度提升了30％。在此基础上加入人体轮廓方向信息作为形状先验，达到效果上的优化。

为达此目的，本发明采用以下技术方案：

一种实时的轮廓精细化抠像方法，包括如下步骤：

缓冲区掩膜建立步骤S110：获取待抠像处理的实时视频流，并根据一定的规则标记目标的初始前景轮廓，并根据所述前景轮廓建立缓冲区掩膜，在所述缓冲区中轮廓内为确定的前景，缓冲区与轮廓之间为不确定区域，缓冲区外为确定的背景像素；

速度优化后的前背景建模步骤S120：根据视频图像中的彩色图和所述缓冲区掩膜，统计前景区域中彩色的最大值和最小值，根据前背景GMM中的模型个数，对彩色的最大值和最小值之间的差值进行划分，得到每个GMM模型的初始中心点，根据所述初始中心点统计每个GMM模型的参数，以及类别间的权重，并迭代更新GMM模型，得到最终的前景模型参数；