[发明专利]一种用于视频中的交互式图像处理方法

说明书

技术领域

本发明涉及图像处理领域，特别涉及一种基于图像模糊连接度的交互式图像处理方法。

背景技术

数字抠图技术是一种通过少量的用户交互，将前景对象准确地从图像或是视频序列中提取出来的技术过程。数字抠图是照片编辑或影视制作等图像处理领域基础的关键技术，在计算机图像处理技术发源之初就得到了广泛的关注和研究。

抠图技术简单来说就是将图像完整地划分为前景区域（F）和背景区域（B），其中需处理的是未知区域（C）的像素p的颜色向量C_p，颜色向量C_p由前景区域像素F_p、背景区域像素B_p和透明度参数α_p线性构成：

C_p=α_pF_p+(1-α_p)B_p，

其中α_p∈[0,1]，0代表背景，1代表前景。对于大多数自然图片来说，F和B都不会局限于一些特定的值，而每个像素的α、F、B值又都是未知待定的。对于某一个像素我们已知的信息是它三维的颜色向量C_p，未知的信息是F_p、B_p和α_p，所以抠图过程是一个通过三个已知量求七个未知量的非约束性问题。

单幅图像抠图技术发展至今已经产生很多不同的算法，比如全局采样方法、KNN（最邻近结点算法）方法、Large Kernel方法、Nonlocal方法、PSF（Point-spread Function，点扩散函数）方法、Shared抠图方法等，无论是在抠图结果准确性、MSE性能测试还是算法速度上都有着不同程度的显著进步。但另一方面，对视频序列的抠图相比对单幅图像的抠图更具挑战性：视频序列的大数据量、每帧图像边缘处理的流畅性、对物体大幅度动作的适应性等影响因素在对单幅图像的抠图技术中均无需考虑。目前的视频抠图算法有贝叶斯视频抠图系统、基于Rotoscoping的视频抠图、基于Graphcut的视频剪贴系统、Snapcut等，但是这些算法中，或者由于运动估计本身存在较大的误差导致抠图结果无法满意，或者对于前景对象运动的鲁棒性不强，或者使用的算法计算量过大，无法满足视频序列大规模数据流的要求，或者需要用户输入的信息过于复杂且不直观，系统需要经过训练的专业人员操作，实用性不强。

发明内容

本发明在前人研究的基础上，结合视频序列抠图特有的时空三维信息，提出了一种快速视频抠图方法：将前后关键帧之间的帧叠加成关键帧簇，在关键帧簇上进行用户交互标记，保证了用户交互的自然性和直观性，并且对于前景对象局部动作较大的情况有较强的鲁棒性。还使用标准化谱聚类（谱聚类方法是子空间学习算法的一种，谱聚类算法建立在谱图论理基础上，与传统的聚类算法相比，它具有能在任意形状的样本空间上聚类且收敛于全局最优解的优点。）完成聚类过程，将传统的模糊连接度分割扩展应用到视频序列的三维空间里完成α值估计。还进一步使用SURF（Speeded Up Robust Features）检测匹配搜索窗，将关键帧的抠图结果传递至整个视频序列，大大减小了算法的时间复杂度。同时，还根据视频序列中前景对象的不同运动情况设计了一种自适应选择传播方向的视频流赋值方法，使得算法对于不同种类的前景对象运动视频都能有较好的抠图结果。

本发明所要解决的技术问题是：克服现有技术的缺陷，提供一种用户交互简单直观、鲁棒性较强且抠图效果好的用于视频中的交互式图像处理方法，该方法在视频序列中提取关键帧，并将相邻关键帧之间的帧逐个叠加形成用于交互标记的关键帧簇，以此将所述关键帧的图像区分为前景区域、背景区域和未知区域；然后对所述关键帧进行谱聚类和α值估计，获得所述关键帧的抠图结果；最后，将所述关键帧的抠图结果传递至整个视频序列，得到最终的抠图结果。

根据实施例，本发明还可采用以下优选的技术方案：

所述将所述关键帧的抠图结果传递至整个视频序列包括：a.在关键帧检测前景对象的边缘线，b.遍历所述边缘线设置若干个搜索窗，c.用SURF特征点检测方法寻找标记前后帧匹配的所述搜索窗，d.将所述关键帧对应的搜索窗内的抠图结果顺次赋值给其他中间帧对应的搜索窗。

所述步骤d中，如果前景为单一或者相互独立的运动物体，则赋值的视频流向前后两个方向传播；如果视频序列中前景为有相对运动的多个物体，则赋值的视频流只从前往后传播。

所述SURF特征点检测方法包括如下步骤：