[发明专利]基于运动趋势特征的人体行为识别方法

说明书

本发明公开了一种基于运动趋势特征的人体行为识别方法，包括步骤：1)获取人体行为识别的视频数据集；2)对视频数据集中的视频进行视频帧提取，制作数据集；3)构造运动趋势特征提取模型，利用运动趋势特征提取模型对步骤2)的数据集进行特征提取与识别，实现模型训练；4)根据实际场景对来自于步骤3)训练完成的模型进行迁移学习，将迁移后的模型应用于实际场景下的人体行为识别任务中。本发明有利于视频场景下对复杂、长时需推理行为的识别，具有实际应用价值。

技术领域

本发明涉及基于视频场景下的人体行为识别分析的技术领域，尤其是指一种基于运动趋势特征的人体行为识别方法。

背景技术

视觉信息作为现实生活中最容易得到的信息之一，以视频作为载体，在其上涌现了大量研究热点以及应用。在这些关注点中，视频中的人体行为识别被重点关注，例如智能养老看护、体育赛事评判、手语识别等，相较于人体与物体的交互行为，这些任务更加关注于人体本身的动作。视频由多帧具有时序关系的图像组成，因此如何同时捕获视频中图像的空间语义特征以及多帧图像间的时序运动特征成为了人体行为识别的关键。

视频中人体行为识别的行为识别任务与图像分类任务最大的不同之处在于视频中的分类需要进行时序建模，因此多种行为识别网络对时序与空间建模的组合尝试了多种方式。2014年提出的Two Stream CNN尝试使用双流网络，一路网络进行空间特征表达，一路网络进行时序特征表达，然后对两路网络提取到的空间特征和时序特征进行融合再得到分类，这种方法的缺陷在于其将时空特征的提取分割开来，忽略了两者之间的联系，并且其缺乏捕获长程时序信息的能力。而后出现了许多时序建模模型，2016年提出的TSN模型将视频分为多个片段然后进行稀疏采样，在每个片段上进行预测然后融合它们的结果得到视频级预测，这种机制使得模型具有捕获长程时序信息的能力，但是这种方法依旧没有将行为特征的时间维度与空间维度联系起来，缺乏时空融合能力。而从2015年提出的C3D开始，3D卷积神经网络(3D CNN)被用于进行时空特征提取，包括R3D、I3D、NL-I3D、SlowFast、NL-SlowFast、X3D模型等。3D卷积通过在卷积核上增加一个时间维度来将空间语义特征拓展为时空特征。尽管3DCNN模型能够很好地融合时空特征，但是这些3D CNN模型只在小滑动窗口上而不是整个视频上学习特征，因此它们难以得到视频级预测，并且3D CNN模型的计算开销非常昂贵，对计算平台的要求很高，训练难度大，在实际推理预测过程中非常耗时。

人体行为可以分为两类，一类行为只需要通过视频中的一帧静态图像就可以判断行为类别，这类行为称为无需推理行为，一类行为需要通过识别视频中多帧图像的特征以及它们之间的运动关系才能判断行为类别，这类行为称谓需推理行为。需推理行为的识别对人体行为识别模型的时序关系建模要求更高，因此对应用于视频场景下的人体行为识别方法，不仅要考虑其时空特征融合能力，还要对其捕获长程时序运动特征的策略进行设计，以获得行为的视频级预测，同时尽可能达到人体行为识别精度与开销的平衡。

发明内容

本发明的目的在于克服目前视频场景下人体行为识别方法对时空特征融合和捕获长程时序运动信息能力的不足，提出了一种基于运动趋势特征的人体行为识别方法，同时增强对需推理行为和无需推理行为的识别，提高模型在视频场景下对复杂、长时行为识别的准确率，使其能够在实际系统中更好地应用。

为实现上述目的，本发明所提供的技术方案为：基于运动趋势特征的人体行为识别方法，包括以下步骤：

1)获取人体行为识别的视频数据集；

2)对步骤1)的视频数据集中的视频进行视频帧提取，制作数据集；