[发明专利]基于部件因果关系的视频行为识别方法

说明书

本发明公开了一种基于部件因果关系的视频行为识别方法，主要解决现有方法忽略了行为部件间的因果关系，而导致行为识别准确率低的问题。其实现步骤是：1)提取视频的稠密轨迹，获取轨迹点的3D坐标和轨迹底层特征；2)利用轨迹点的3D坐标进行轨迹聚类，以获取行为部件；3)计算部件间因果关系比率，训练成对部件对应的分类器并获取判分，以构建部件间因果关系描述子，并作为中层语义表示；4)对中层语义表示进行PCA降维，并利用SVM分类器进行行为识别。本发明能够获取更丰富的中层语义表示，进一步提高了行为识别的准确率，可用于人机交互。

技术领域

本发明属于视频处理技术领域，特别涉及一种视频行为识别方法，可用于人机交互。

背景技术

视频人体行为识别是计算机视觉研究领域的关键问题，随着社会媒体共享的快速发展，人们需要及时处理大量的多媒体数据，尤其是包含人体行为的视频数据，人体行为识别作为视频分析和理解的关键技术，重要的学术价值、广泛的应用前景以及潜在的商业价值和社会价值，使其成为计算机视觉研究的研究热点。早期的行为识别方法通常只专注于底层特征的优化设计，虽取得了一定成就，但通常只表示了行为视频的底层视觉信息，表达能力非常有限，而中层特征涵盖了丰富的语义信息，越来越受到研究者的重视和青睐。目前比较主流的中层语义的提取方法主要包括以下两种，一种是基于深度学习的中层语义挖掘，另一种是基于部件的中层语义挖掘。基于深度学习的中层语义挖掘虽能挖掘到更抽象的特征信息，但需要较大的计算消耗。然而，以上两种方法构建的中层语义，虽然对底层特征进行了较好的提炼和总结，但并没有进一步挖掘中层语义间存在的较为复杂的交互关系，如因果关系等，而这种关系能够增强中层语义的表现力，进一步提高行为识别的准确率。

目前已提出的基于部件的中层语义表示方法主要有以下两种：

(1)J.Zhu,B.Wang,X.Yang,W.Zhang,Z.Tu等人于2013年在IEEE InternationalConference on Computer Vision提出了“利用actons进行行为识别的方法”，这种方法将池化思想引入中层语义中，通过对轨迹描述子的局部软量化编码特征进行池化，获取中层语义actons，实现了有效的行为识别，然而，该方法忽略了actons之间的因果相互关系，使中层语义的表达能力和识别效果受到限制。

(2)Lan T,Zhu Y,Roshan Zamir等人于2015年在Proceedings of the IEEEInternational Conference on Computer Vision提出了“一种利用中层行为元素进行行为识别的方法”，这种方法在轨迹特征的基础上，分别在时间和空间上对行为进行精细分割，使用线性SVM对谱聚类后获得的聚类簇进行判别式约束，筛选出差异性较大的聚类簇作为中层行为元素。该方法虽然考虑了中层行为元素之间的层次关系，但未准确描述各个中层行为元素之间存在的因果关系，阻碍了行为识别结果的进一步提高。

发明内容

本发明目的在于针对上述已有方法的不足，提出一种基于部件因果关系的视频行为识别方法，通过挖掘部件之间的因果关系，增强中层语义表示对行为的描述能力，进一步提高视频行为识别的准确率。

为实现上述目的，本发明包括：

(1)对所有行为视频提取稠密轨迹，获取所有轨迹点的3D坐标，并构建方向梯度直方图HOG和光流方向直方图HOF，将HOG和HOF进行串接后作为轨迹的底层特征；

(2)利用轨迹点的3D坐标，对轨迹进行k-means聚类，以获取行为部件；