[发明专利]一种融合多线索的人体视频分割方法

说明书

技术领域

本发明涉及一种视频分割方法，尤其是涉及一种融合多线索的人体视频分割方法。

背景技术

视频分割是指在视频中将前景对象与背景环境区别并分割出来，它是很多视频应用的前提与基础，如视频抠图与粘贴、视频压缩、人机交互以及视频理解等应用。在视频分割中，人体视频分割具有特别重要的意义，人体视频不仅在众多非刚体对象中具有代表性，而且是众多视频应用的核心，如智能视频监控中的对象跟踪、姿态估计、人体识别以及行为分析等都依赖人体视频分割方法。然而，现有的视频分割方法还存在许多问题，除了具有与现有的图像分割技术共同的困难外（包括复杂的颜色、纹理分布以及模糊的边缘等），还具有特有的一些技术障碍，如帧间光线的变化、摄像机与对象的运动以及由此产生的遮挡与重现、3D空间的运动与2D对象投影边界的巨大差异以及每帧的交互问题等，因此，视频分割方法仍是目前的研究热点。

现有的视频分割方法对初始帧的分割多数都建立在基于条件随机场的图割框架中，首先基于初始交互信息建立全局或局部的前景模型和背景模型，进而计算随机场中似然项与对比项的能量，最终通过图割等方法获取全局或局部的最优解来完成对当前帧的分割，而后续帧的分割则通过采用将前一帧的分割模型向后传播的方式，迭代地应用上述方法完成分割。这种视频分割方法对帧处理的过程中，若当前帧的分割过程出现分割错误的像素时，在后续帧的分割中就会放大错误的像素的影响，这样将严重影响后续帧的分割效果。Fan等人（Fan et al.Tranductive segmentation of live video with non-stationary background.In IEEE Conference on Computer Vision and Pattern Recognition,2010.动态背景的实时分割，电气电子工程师学会，计算机视觉与模式识别国际会议）提出了一种全局动态颜色模型和快速局部核密度估计模型相结合的方法，其将局部颜色与全局颜色进行融合，该方法在处理背景比较复杂的帧时，容易导致分割结果错误。Bai等人（Bai et al.Dynamic Color Flow:A Motion-Adaptive Color Model for Object Segmentation in Video.In:11th European Conference on Computer Vision.动态颜色光流：一个运动自适应的颜色视频分割模型，第11届计算机视觉欧洲会议）提出了一种融合颜色信息、运动信息和形状信息的视频分割方法，其将运动估计加入颜色模型中，并根据运动的局部特征自适应地调节局部颜色的采样窗口大小，并且加入形状信息；Price等人（LIVEcut:Learning-based interactive video segmentation by evaluation of multiple propagated cues.In IEEE.In IEEE International Conference on Computer Vision,2009.电气电子工程师学会，计算机视觉国际会议）提出了LIVEcut方法，其将颜色、梯度、形状、时空、运动等信息，自适应的方式融合到图割的能量项中，虽然，Bai等人和Price等人各自提出的方法在处理背景比较复杂的帧时能取得较好的分割结果，但是在后续帧的分割中，需要用户的交互。

发明内容

本发明所要解决的技术问题是提供一种融合多线索的人体视频分割方法，其融合了颜色信息、运动信息和形状先验信息，减弱了时域上位于待处理帧之前的帧对待处理帧的影响，有效地避免后续帧在分割时出现扩大后续帧的前一帧分割错误影响的情况，且在后续帧的处理中，不再需要用户交互。

本发明解决上述技术问题所采用的技术方案为：一种融合多线索的人体视频分割方法，其特征在于：包括以下步骤：

①从一段含有人体的视频序列中取出其初始帧，采用HOG人体检测方法对初始帧进行人体检测，获得一个矩形的人体检测框，将初始帧内处于人体检测框外的所有像素点标记为背景像素点，然后标记出初始帧内处于人体检测框内的部分前景像素点和部分背景像素点，将标记出的所有前景像素点构成初始帧的前景区域，将标记出的所有背景像素点构成初始帧的背景区域，将初始帧内未标记的像素点确认为未知点；