[发明专利]一种基于场景先验知识的人体行为识别方法

说明书

本发明公开了一种基于场景先验知识的人体行为识别方法，包括以下步骤：对输入视频进行预处理；建立室内场景‑人体行为先验知识库；建立视频场景识别模型和人体行为识别模型M；对输入视频进行场景预测，基于场景识别的结果，将对应的场景先验知识融合到人体行为识别网络模型M中，得到人体行为分类。本发明能够充分利用场景与人体活动的相关性，通过将先验知识转换成行为识别模型中对权值的约束，优化目标函数，有效提高视频中人体行为识别的效果。

技术领域

本发明属于计算机视觉技术领域，特别涉及一种基于场景先验知识的人体行为识别方法。

背景技术

近年来，视频平台的发展促使视频成为传播使用最广泛的数据之一，对视频中人体行为的理解也受到更多的关注，如何在不同环境中更好的利用视频所包含的元素进行人体行为识别成为一项具有挑战性的任务。现实世界中，人体行为与其所处场景密切相关，场景所含元素，如场景内的物体、环境结构、场景属性等，都会影响主体的行为。虽然某些动作是相对独立于场景的，但在特定场景下，主体仅可能完成特定的行为。

现有的技术中，较为主流的人体行为识别方法是通过优化深度神经网络，或是对人体特征的提取方式以及提取后对特征的处理手段进行改进，典型的双流网络利用空间流通道对单帧图像学习空间(Spatial)特征，时间流通道对光流图像学习运动信息，最后将两通道经过softmax的分数融合得到行为分类。3D卷积网络充分利用3D卷积更适应于学习时空特征这一特点，将人体低维特征和高维特征充分融合。这几类方法有效的提高了人体行为识别的识别准确率，但均聚焦于单一的人体行为识别任务，同时忽略了人体所处场景与人体主体间的客观联系。

对于场景上下文与人体行为间的关系，一些人体行为识别方法中将人体特征与场景特征输入不同通道，分别进行提取和分析，此类方法没有充分利用人体活动受其所在场景限制这一约束条件。

发明内容

本发明提供了一种基于场景先验知识的人体行为识别方法，以解决现有技术中忽略场景与人体行为关联造成的行为识别准确率低的问题。

为了实现上述目的，本发明采用以下技术方案：

一种基于场景先验知识的人体行为识别方法，包括以下步骤：

S1.对输入视频进行预处理；

S2.建立室内场景-人体行为先验知识库；

S3.建立视频场景识别模型和人体行为识别模型；

S4.模型训练和测试；

S5.输入视频进行人体行为识别，得到人体行为分类。

进一步的，所述步骤S1的具体步骤为：

S11.任意抽取视频的一帧作为场景图像，抽取后建立该场景图像与视频的映射关系；

S12.利用TSN方法对输入的视频进行稀疏采样，按帧数平均分割为N个片段，从每个片段中随机抽取一帧，光流图使用OpenCV中的TV-L1方法获取后，同样使用TSN方法，从每个Segment中随机抽取一帧光流图像；

S13.预处理后的图像均使用中心裁剪，大小为224×224(像素)。

进一步的，所述步骤S2的具体步骤为：

S21.对先验知识进行量化，不同场景的先验知识G_j表示为：其中：表示第j个场景下发生第t个动作的先验概率；

S22.先验知识库中保存所有场景下的先验知识，从场景到行为的映射关系G_S表示为：G_S＝(G₁,G₂,……,G_j)^T，其中，G_j表示第j个场景下的先验知识，T指的是转置。