[发明专利]基于关键帧序列和行为信息的两阶段行为识别方法及系统

权利要求书

1.基于关键帧序列和行为信息的两阶段行为识别方法，其特征在于，包括以下步骤：

S1、对数据集中的所有视频V^all逐个进行关键帧选择，得到所有视频对应的关键帧序列F^all，然后将所有视频划分为训练视频V^train和测试视频V^test，对应的关键帧序列分为F^train和F^test；

S2、计算视频中的所有行为类别之间的相似度，获得类别相似性矩阵S；

S3、根据步骤S2得到的相似性矩阵S将行为类别C中的N个类别划分为K个大类；

S4、构造基于关键帧的两阶段行为识别网络模型，两阶段行为识别网络模型包括一阶段特征提取器G₁、一阶段分类器Class₁、二阶段特征提取器G₂和二阶段分类器Class₂，将步骤S1训练视频对应的关键帧序列F^train和对应的标签Y^train分批次送入两阶段行为识别网络模型中，利用步骤S3划分的K个大类进行训练，每个批次的大小为B，步骤S4具体为：

S401、构建基于关键帧的两阶段行为识别网络模型，一阶段特征提取器G₁为3D-ResNet34中的特征提取器；一阶段分类器Class₁包括依次相连接的输入层、全局3D池化层和全连接层；二阶段特征提取器G₂包含K个轻量化特征提取器，每个轻量化特征提取器包括依次相连的输入层、第一3D卷积层和第二3D卷积层；二阶段分类器Class₂则包含K个分类器，每个分类器包括依次相连接的输入层、全局3D池化层和全连接层；

S402、训练一阶段特征提取器G₁和一阶段分类器Class₁；

S403、训练二阶段特征提取器G₂和二阶段分类器Class₂；

S5、将步骤S1测试视频所对应的关键帧序列F^test送入步骤S4训练好的两阶段行为识别网络模型得到测试视频的行为类别。

2.根据权利要求1所述的方法，其特征在于，步骤S1中，数据集中的所有视频V^all逐个进行关键帧选择，得到关键帧序列具体为：

S101、将一个视频v转化为视频帧序列[x₁，x₂，...，x_i，...，x_T]，T表示视频帧序列的长度，x_i表示视频v中第i个视频帧；

S102、对每一帧原始的视频帧进行处理得到处理后的视频帧序列[x′₁，x′₂，...，x′_i，...，x′_T]；

S103、利用K-SVD算法得到视频帧序列[x′₁，x′₂，...，x′_i，...，x′_T]的稀疏表示[α₁，α₂，...，α_T]；

S104、获取关键帧序列。