[发明专利]基于混淆矩阵的高层语义视频行为识别方法

摘要

本发明公开了基于混淆矩阵的高层语义行为视频识别方法，主要解决现有技术因混淆造成识别率低的问题。其实现步骤是：1)提取行为视频的稠密轨迹，获取轨迹的底层特征；2)利用底层特征进行行为识别，获取混淆矩阵；3)针对混淆矩阵，定义能区分混淆行为的高层语义列表；4)将高层语义列表和行为视频数据相关联，为每一种高层语义训练对应的判别式分类器，并将行为视频在所有判别式分类器下的判分值串接，得到高层语义特征向量；5)获取底层特征在线性SVM分类器下的隶属度，联合隶属度和高层语义特征向量，训练LSVM分类器进行行为识别。本发明能有针对性地纠正混淆行为，提高了行为识别的准确率，可用于视频监控。

主权项

1.基于混淆矩阵的高层语义行为视频识别方法，包括：(1)对所有行为视频提取稠密轨迹，采用轨迹的方向梯度直方图HOG和光流方向直方图HOF对轨迹进行描述，并对该HOG和HOF分别采用主成分分析PCA降维，得到行为视频的两个底层特征FHOG和FHOF；(2)对两个底层特征FHOG和FHOF分别进行K‑means聚类，再采用词袋模型BoW分别编码，串接得到行为视频的底层特征向量M，将M作为线性SVM分类器的训练样本，训练得到所有行为的SVM分类器集合SVM_Low_Set；(3)采用步骤(2)训练得到的分类器集合SVM_Low_Set，对行为视频进行分类，获取分类后的混淆矩阵H；(4)针对混淆矩阵H，人工定义能够区分混淆行为的高层语义，获取所有行为类别的高层语义集合Gset；(5)将高层语义集合Gset与行为类别相关联，获取完整的高层语义列表L；(6)将高层语义列表L和行为视频训练集Train_Set相关联，获取所有高层语义的判别式分类器集合SVM_Dis_Set；(7)将行为视频测试集Test_Set中的每一个行为视频Vn，依次输入到SVM_Dis_Set中，将所有判别式分类器的判分输出结果串接，得到行为视频Vn的高层语义特征向量GFeat(Vn)；(8)将行为视频训练集Train_Set与测试集Test_Set进行交换，重复步骤(6)和步骤(7)，得到所有行为视频的高层语义特征向量GFeat；(9)利用行为视频分类器集合SVM_Low_Set，获取各行为视频类别在其隶属类别分类器下的隶属度Sco，并与行为视频的高层语义特征向量GFeat共同训练隐变量支持向量机LSVM分类器，测试时，将测试样本的隶属度和高层语义特征向量输入到训练好的LSVM中，获取视频行为分类结果。