[发明专利]基于部件因果关系的视频行为识别方法

权利要求书

1.一种基于部件因果关系的视频行为识别方法，包括如下步骤：

(1)对所有行为视频提取稠密轨迹，获取所有轨迹点的3D坐标，并构建方向梯度直方图HOG和光流方向直方图HOF，将HOG和HOF进行串接后作为轨迹的底层特征；

(2)利用轨迹点的3D坐标，对轨迹进行k-means聚类，以获取行为部件；

(3)将行为视频V所属行为类别中的任意两个不同的行为部件表示为X_u和X_v，构成成对的部件表示(X_u,X_v)，利用X_u和X_v对应轨迹的底层特征，来训练(X_u,X_v)对应的部件分类器获取行为视频V在下的判分score(V,(X_u,X_v))，其中，u,v∈[1,b]且u≠v，u表示行为部件X_u的索引，v表示行为部件X_v的索引，b为行为视频V所属行为类别中的部件个数；

(4)利用格兰杰因果关系方法，计算两个部件的因果关系比率，其中包括X_u对X_v的因果关系比率CR_u,v，以及X_v对X_u的因果关系比率CR_v,u，并计算视频V在成对部件(X_u,X_v)下，X_u对X_v的因果关系强度以及X_v对X_u的因果关系强度

(5)将视频V在其所属类别中，所有成对部件下的因果关系强度进行串接，得到视频V的部件间因果关系描述子M_{Feat_cas}(V)，并将其作为中层语义表示；

(6)将获取的中层语义表示进行PCA降维，获取降维后的中层语义表示；

(7)将所有行为视频分为训练集和测试集，利用训练集对应降维后的中层语义表示，训练中层语义的SVM分类器，将测试集对应降维后的中层语义表示，输入到训练好的SVM分类器中进行测试，获取行为识别的结果。

2.根据权利要求1所述的方法，其中所述步骤(2)，按如下步骤进行：

(2a)对于每类视频中的任意两条轨迹T_f和T_m，其时域重叠区间为o(T_f,T_m)，计算这两条轨迹T_f和T_m的空间距离为d_fm：

其中，T_f表示第f条轨迹，T_m表示第m条轨迹，和分别表示轨迹T_f和T_m在第t帧上的坐标，avg(·)表示求取平均值，||·||₂表示求取欧氏距离，f,m∈[1,B]且f≠m，B为轨迹的数目；

(2b)利用轨迹间的空间距离，对每类视频的轨迹进行k-means聚类，获取k个聚类簇，也就是k个行为部件。

3.根据权利要求1所述的方法，其中步骤(4)中利用格兰杰因果关系方法，计算两个部件的因果关系比率，按如下步骤进行：

(4a)根据格兰杰因果关系法，用p_t和q_t分别表示两个不同的信号；

(4b)p_t的两种预测表示形式为：

只利用p_t过去的样本，来预测p_t的形式：

利用p_t和q_t两种过去的样本，共同预测p_t的形式：

其中，B表示只利用p_t过去的样本来预测p_t时，p_t过去的样本对应的预测系数矩阵；

E表示利用p_t和q_t过去的样本共同预测p_t时，p_t过去样本对应的预测系数矩阵；

R表示利用p_t和q_t过去的样本共同预测p_t时，q_t过去样本对应的预测系数矩阵；

ε₁表示只利用p_t过去的样本来预测p_t产生的预测误差，其方差为Σ₁；

ε₂表示利用p_t和q_t过去的样本共同预测p_t产生的预测误差，其方差为Σ₂；

表示p_t延时了h的m阶信号；

表示q_t延时了h的m阶信号；

(4c)利用ε₁的方差Σ₁和ε₂的方差Σ₂，计算q_t对p_t的因果关系比率：CR_q,p＝trace(∑₁)/trace(∑₂)，trace(·)表示矩阵求迹；

(4d)分别对两个不同部件X_u和X_v内的轨迹求平均，得到平均轨迹和将和视为两个信号，利用(4a)～(4c)中的方法，分别计算对的因果关系比率和对的因果关系比率

(4e)进一步分别计算X_u对X_v的因果关系比率CR_u,v和X_v对X_u的因果关系比率CR_v,u：

其中，N_u和N_v分别表示部件X_u和X_v中轨迹的数目。