[发明专利]基于混淆矩阵的高层语义视频行为识别方法

权利要求书

1.基于混淆矩阵的高层语义行为视频识别方法，包括：

(1)对所有行为视频提取稠密轨迹，采用轨迹的方向梯度直方图HOG和光流方向直方图HOF对轨迹进行描述，并对该HOG和HOF分别采用主成分分析PCA降维，得到行为视频的两个底层特征F_HOG和F_HOF；

(2)对两个底层特征F_HOG和F_HOF分别进行K-means聚类，再采用词袋模型BoW分别编码，串接得到行为视频的底层特征向量M，将M作为线性SVM分类器的训练样本，训练得到所有行为的SVM分类器集合SVM_Low_Set；

(3)采用步骤(2)训练得到的分类器集合SVM_Low_Set，对行为视频进行分类，获取分类后的混淆矩阵H；

(4)针对混淆矩阵H，人工定义能够区分混淆行为的高层语义，获取所有行为类别的高层语义集合G_set；

(5)将高层语义集合G_set与行为类别相关联，获取完整的高层语义列表L；

(6)将高层语义列表L和行为视频训练集Train_Set相关联，获取所有高层语义的判别式分类器集合SVM_Dis_Set；

(7)将行为视频测试集Test_Set中的每一个行为视频V_n，依次输入到SVM_Dis_Set中，将所有判别式分类器的判分输出结果串接，得到行为视频V_n的高层语义特征向量G_Feat(V_n)；

(8)将行为视频训练集Train_Set与测试集Test_Set进行交换，重复步骤(6)和步骤(7)，得到所有行为视频的高层语义特征向量G_Feat；

(9)利用行为视频分类器集合SVM_Low_Set，获取各行为视频类别在其隶属类别分类器下的隶属度Sco，并与行为视频的高层语义特征向量G_Feat共同训练隐变量支持向量机LSVM分类器，测试时，将测试样本的隶属度和高层语义特征向量输入到训练好的LSVM中，获取视频行为分类结果。

2.根据权利要求1所述的方法，其中步骤(2)中“训练得到所有行为类的SVM分类器集合SVM_Low_Set”，按如下步骤进行：

(2.1)设定聚类中心个数为N，分别对底层特征F_HOG和F_HOF进行K-means聚类，并用N个聚类中心构建码书；

(2.2)利用步骤(2.1)构建的码书，分别对F_HOG和F_HOF进行量化编码，统计量化编码后的码字直方图，作为该行为视频的两个底层特征描述子；

(2.3)将两个底层特征描述子进行串接，作为该行为视频的底层特征向量M，使用线性SVM分类器进行训练，得到所有行为类别的SVM分类器集合SVM_Low_Set。

3.根据权利要求1所述的方法，其中步骤(4)中“获取所有行为类别的高层语义集合G_set”，按如下步骤进行：

(4.1)利用步骤(3)得到的混淆矩阵H，选择H中非对角线上的非零元素，将其作为行为视频中的混淆行为；

(4.2)对混淆行为进行有针对性地纠正，列举混淆行为的所有属性，从该属性中选择能够区分混淆行为的属性，作为混淆行为视频的高层语义；

(4.3)对不同混淆行为执行步骤(4.2)的过程，得到所有行为类别的高层语义集合G_set。

4.根据权利要求1所述的方法，其中步骤(5)中“获取行为视频中完整的高层语义列表L”，按如下步骤进行：

(5.1)通过二进制方法，获取各高层语义在所有行为类别下的二进制值：

若某类行为视频中包含某一个高层语义，则将该类行为视频的标签设置为1，并将该类行为视频作为正样本；

否则，将该类行为视频的标签设置为0，并将该类行为视频作为负样本；

(5.2)统计所有行为类别对应的二进制标签值，得到行为视频数据集完整的高层语义列表L。