[发明专利]基于部件因果关系的视频行为识别方法

摘要

本发明公开了一种基于部件因果关系的视频行为识别方法，主要解决现有方法忽略了行为部件间的因果关系，而导致行为识别准确率低的问题。其实现步骤是：1)提取视频的稠密轨迹，获取轨迹点的3D坐标和轨迹底层特征；2)利用轨迹点的3D坐标进行轨迹聚类，以获取行为部件；3)计算部件间因果关系比率，训练成对部件对应的分类器并获取判分，以构建部件间因果关系描述子，并作为中层语义表示；4)对中层语义表示进行PCA降维，并利用SVM分类器进行行为识别。本发明能够获取更丰富的中层语义表示，进一步提高了行为识别的准确率，可用于人机交互。

主权项

1.一种基于部件因果关系的视频行为识别方法，包括如下步骤：(1)对所有行为视频提取稠密轨迹，获取所有轨迹点的3D坐标，并构建方向梯度直方图HOG和光流方向直方图HOF，将HOG和HOF进行串接后作为轨迹的底层特征；(2)利用轨迹点的3D坐标，对轨迹进行k‑means聚类，以获取行为部件；(3)将行为视频V所属行为类别中的任意两个不同的行为部件表示为X_u和X_v，构成成对的部件表示(X_u,X_v)，利用X_u和X_v对应轨迹的底层特征，来训练(X_u,X_v)对应的部件分类器获取行为视频V在下的判分score(V,(X_u,X_v))，其中，u,v∈[1,b]且u≠v，u表示行为部件X_u的索引，v表示行为部件X_v的索引，b为行为视频V所属行为类别中的部件个数；(4)利用格兰杰因果关系方法，计算两个部件的因果关系比率，其中包括X_u对X_v的因果关系比率CR_u,v，以及X_v对X_u的因果关系比率CR_v,u，并计算视频V在成对部件(X_u,X_v)下，X_u对X_v的因果关系强度以及X_v对X_u的因果关系强度(5)将视频V在其所属类别中，所有成对部件下的因果关系强度进行串接，得到视频V的部件间因果关系描述子M_{Feat_cas}(V)，并将其作为中层语义表示；(6)将获取的中层语义表示进行PCA降维，获取降维后的中层语义表示；(7)将所有行为视频分为训练集和测试集，利用训练集对应降维后的中层语义表示，训练中层语义的SVM分类器，将测试集对应降维后的中层语义表示，输入到训练好的SVM分类器中进行测试，获取行为识别的结果。