[发明专利]基于约束谱聚类和马尔科夫随机场的视频图像分割方法

说明书

技术领域

本发明涉及计算机视觉、图像处理及模式识别等技术领域，具体涉及一种基于约束谱聚类和马尔科夫随机场的视频图像分割方法。

背景技术

视频分割是指将视频序列按其特征划分成一些互不重叠的时空区域的一种技术。视频分割是计算机视觉的一种关键技术，是视频监控、人机交互以及视频编辑等多种应用的基础。

视频分割的基础是静止图像分割。大部分静止图像分割技术都以自底向上的方式进行，它们通过检测边界或者依据色彩、纹理等特征对像素聚类，从而达到分割的目的。但是由于图像底层特征和物体模型之间的巨大语义鸿沟，对静止图像进行分割很难得到用户希望的结果。

相比于静止图像，视频由于包含了运动信息，其能在很大程度上消除底层特征和物体模型之间的语义鸿沟，因此视频分割往往能得到更为准确的结果。进行视频分割的关键是如何利用运动信息。早期的研究大多假设背景是静止的，从而可以利用像素颜色随时间的变化来检测运动前景目标；稍后的研究尝试将帧间光流（即图像像素的运动矢量场）作为特征对图像像素进行聚类，其不需要静止背景的假设，但缺点是只能利用相连两帧间的运动信息；从上个世纪90年代末期开始，研究者们考虑从视频中提取长时特征点轨迹，并通过运动分析对其进行聚类，相比光流法，其能利用更为丰富的运动信息，但其缺点是特征点往往过于稀疏，从而无法得到完整的分割结果，此外，其对颜色纹理等静态信息没有加以利用。

在已有的基于帧间光流或长时特征点轨迹的视频分割方法中，谱聚类方法由于能在任意形状样本空间上聚类并能得到近似的全局最优解，是目前应用最广的一类像素（或特征点）聚类算法。谱聚类建立在谱图理论基础上，其原理是将图像中每个像素当作图的顶点，再计算像素点间的相似度，并将其作为图的顶点间边的权重，从而将图像分割问题转化为图的划分问题。

传统的基于谱聚类进行视频分割的相关方法往往只利用运动信息或对运动信息和静态信息进行简单加权用于分割，不能对视频图像的静态特征（如颜色和纹理等）和运动特征两种不同可靠度的信息加以很好的利用，得不到准确的稠密的分割结果。

发明内容

（一）要解决的技术问题

本发明的目的在于提供一种基于约束谱聚类和马尔科夫随机场的视频图像分割方法，对于视频图像的静态特征（如颜色和纹理等）和运动特征采用不同处理方法，以得到准确稠密的分割结果；进一步的，本发明对图像的空间平滑信息加以利用，以得到更为精准的分割效果。

（二）技术方案

本发明技术方案如下：

一种基于约束谱聚类和马尔科夫随机场的视频图像分割方法，包括步骤：

S1.利用光流法从视频图像中提取部分像素点的点的长时运动轨迹，根据所述点轨迹信息构建运动约束；

S2.构建像素相似度矩阵；

S3.结合所述运动约束以及像素相似度矩阵，构建谱聚类分割模型并求解得到初步分割结果；

S4.构建空间平滑约束；

S5.结合所述初步分割结果以及空间平滑约束，构建马尔科夫随机场模型并求解得到最终分割结果。

优选的，所述步骤S 1包括步骤：