[发明专利]基于局部时空特征描述与金字塔词汇树的视频行为识别方法

说明书

本发明公开了一种基于局部时空特征描述与金字塔词汇树的视频行为识别方法。针对LBP‑TOP算法忽略了邻点之间的关系从而丢失了邻域结构信息的问题，以及忽略了时空特征在时域和空域上变化所具有差异性的问题，提出了DT‑LBPTOP算法：在时域和空域使用dLBP描述子对8邻域的方向信息进行描述，解决了邻域之间变化率以及变化方向的问题；在时域上使用TLBP描述子进行描述，反映纹理在时序上的变化特性。同时使用多重等规模子集视觉词汇森林划分多重子区域，用直方图对多重区域内的向量进行统计，然后构造PMK函数，最后使用金字塔匹配核快速计算高维无序特征间的的相似度，建立了一种新型分类模型。

技术领域

本发明涉及一种基于局部时空特征描述和金字塔词汇树的视频行为识别方法。

背景技术

随着计算机视觉领域的研究不断深入、信号和图像处理技术的不断更新和发展，行为识别日益成为一项具有挑战性的研究内容。行为识别是机器视觉的一项基础工作，也是许多视频挖掘应用的关键技术。基于视频的人体行为识别课题的主要研究内容是对采集到的视频中的运动人体进行行为检测，并对行为作特征提取和描述，构造有效的人体行为识别模型来自动分析视频数据，理解视频中运动人体的行为内容，以正确识别视频中的人体行为类别，并不断提高行为识别精度。

综观国内外人体行为识别领域的相关研究，人体行为识别出现了两大研究方向：基于全局特征的人体行为识别和基于局部特征的人体行为识别。

基于全局特征的人体行为识别将整个运动人体作为检测和识别的对象。首先，采用背景差法、轨迹追踪或其他方法定位视频中的运动人体，提取包含运动人体在内的兴趣区域。然后，计算兴趣区域中运动人体的轮廓、姿态、轨迹等信息，生成人体行为的全局特征。最后，利用得到的人体行为全局特征进行训练和建模，实现对视频中运动人体行为的分类与识别。基于全局特征的人体行为识别得到的行为特征包含了丰富的信息，有很强的行为识别能力。

基于局部特征的人体行为识别将运动人体看作由若干个身体支部构成的集合，对运动人体身上发生显著变化的局部区域(如手肘、膝盖、腿、脚等)进行检测和识别。首先，定位视频数据中在空间维度和时间维度上都发生明显变化的关键像素点。然后，提取这些关键像素点附近的视频信息，计算得到人体行为的局部特征。最后，对获得的人体行为局部特征进行学习、训练，构造分类模型，实现人体行为的分类与识别。

尽管视频中的人体行为识别课题已经成为机器视觉研究领域的一大热点，众多国内外学者对人体行为识别已展开了多方面的深入研究，各种行之有效的人体行为识别模型及其改进也被不断提出，但是，面临各种真实环境的复杂性、现实场景的多样性以及运动人体的差异性，识别视频中的人体行为仍极具挑战。例如，复杂背景中的人体行为识别、多人交互情况下的人体行为识别、多种动作连续发生的人体行为识别等复杂条件下的人体行为识别的正确率都有待进一步提高。这种多样化的、更为复杂的人体行为识别场景正是将来人体行为识别应用领域的发展趋势，具有长远的、典型的现实意义。

利用传统LBP(Local Binary Patterns)算法对视频纹理进行描述的方法只考虑了邻点与阈值之间的关系并没有考虑邻点和邻点之间的关系。LBP在被扩展到三维后即LBP-TOP算法同样继承了它的缺点，而且由于三维时空特性，LBP-TOP算法对时域和空域进行相同编码忽略了时域和空域特征的差异性。而传统词袋模型忽略了视觉单词的时序特性，也忽略了视觉单词之间的关系。

发明内容

针对LBP-TOP算法忽略了邻点之间的关系而丢失了邻域结构信息的问题，以及忽略了时空特征在时域和空域上变化所具有差异性的问题，本发明提出了一种基于局部时空特征描述与金字塔词汇树的视频行为识别方法，该方法对时空兴趣点所形成的时空立方体切片的时域和空域采取不同的时空纹理描述策略。

为了实现上述目的，本发明采用的技术方案如下：

基于局部时空特征描述与金字塔词汇树的视频行为识别方法，包括以下步骤：