[发明专利]一种基于场景先验知识的人体行为识别方法

权利要求书

1.一种基于场景先验知识的人体行为识别方法，其特征在于，包括以下步骤：

S1.对输入视频进行预处理；

S2.建立室内场景-人体行为先验知识库；

S3.建立视频场景识别模型和人体行为识别模型；

S4.模型训练和测试；

S5.输入视频进行人体行为识别，得到人体行为分类。

2.根据权利要求1所述的基于场景先验知识的人体行为识别方法，其特征在于，所述步骤S1的具体步骤为：

S11.任意抽取视频的一帧作为场景图像，抽取后建立该场景图像与视频的映射关系；

S12.利用TSN方法对输入的视频进行稀疏采样，按帧数平均分割为N个片段，从每个片段中随机抽取一帧，光流图使用OpenCV中的TV-L1方法获取后，同样使用TSN方法，从每个Segment中随机抽取一帧光流图像；

S13.预处理后的图像均使用中心裁剪，大小为224×224，单位为像素。

3.根据权利要求1所述的基于场景先验知识的人体行为识别方法，其特征在于，所述步骤S2的具体步骤为：

S21.对先验知识进行量化，不同场景的先验知识G_j表示为：其中：表示第j个场景下发生第t个动作的先验概率；

S22.先验知识库中保存所有场景下的先验知识，从场景到行为的映射关系G_S表示为：G_S＝(G₁,G₂,……,G_j)^T，其中，G_j表示第j个场景下的先验知识，T指的是转置。

4.根据权利要求1所述的基于场景先验知识的人体行为识别方法，其特征在于，所述步骤S3的具体步骤为：

S31.选择ResNet152作为场景识别的网络模型，将该网络在Places365和SUN397大型数据集上进行预训练；

S32.建立基于I3D的改进网络模型M，将先验知识在softmax函数中与预测的分类结果按先验知识的影响因子μ融合得到最终的预测结果，通过对比标签值与softmax函数的预测结果，对于有k个分类的训练集，优化损失函数其中：Y表示正确的标签值，y表示最终的预测值，Y_t为标签值，y_t为预测值，Y＝Y_t。

5.根据权利要求1所述的基于场景先验知识的人体行为识别方法，其特征在于，所述步骤S4的具体步骤为：

S41.将场景图输入场景识别模型进行场景分类，取识别结果的TOP-3，将此结果按100％的比例重新进行计算；

S42.基于步骤S41的结果，将每个场景对应的先验知识按照场景比重，重新计算为新的融合场景先验知识；

S43.网络模型M采用模块化的结构，网络模型M包括卷积层、最大池化层、平均池化层、Inception模块以及最后的softmax，引入融合场景先验知识对softmax的权值进行约束，使softmax的最终输出排除某几类不可能的行为分类，网络模型M在I3D的基础上额外增加了2个辅助的softmax用于向前传导梯度，这两个辅助分类器将中间某一个Inception模块的输出作为分类，两个辅助分类器均按照权重值融合到最终分类结果中，但在最终的测试中，这两个辅助分类器会被去掉。