[发明专利]基于自适应时空纠缠的视频行为识别方法、系统、设备

说明书

本发明属于计算机视觉领域，具体涉及一种基于自适应时空纠缠的视频行为识别方法、系统、设备，旨在解决现有的行为识别方法未注意到时空线索对不同动作类的差异化影响，导致行为类别识别鲁棒性较差的问题。本方法包括从输入视频流中获取待行为识别的图像，作为输入图像；通过训练好的行为识别模型获取所述输入图像的行为类别；其中，所述行为识别模型基于卷积神经网络构建。本发明提高了行为类别识别的鲁棒性。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于自适应时空纠缠的视频行为识别方法、系统、设备。

背景技术

时空信息建模是视频行为识别的核心问题之一。它是对视频中的行为进行分析的基础任务，可以为诸如视频行为检测、分割等任务提供基础方法。它的目的是从给定的视频序列中识别出具体的行为类别。

近年来一些主流方法有双流网络和3D卷积网络，前者通过平行的两个网络分别提取RGB和光流特征，后者通过3D卷积同时建模时间和空间信息。然而大量的模型参数和计算限制了效率，因此有些改进方法是将三维卷积分解为二维空间卷积和一维时间卷积，以此来分别对时间和空间信息建模。

上述主流方法更多的是通过设计不同的网络结构来提取更好的时空特征，但没有注意到时空线索对不同动作类的差异化影响。例如有些动作即使没有时间信息的帮助，也很容易仅用一张图片来区分，这是因为它们在不同的场景中，具有显著的空间信息，因此可以作为具有高度可信度的动作类别进行预测。然而时间信息对细粒度动作识别是必不可少的，例如“拉小提琴”动作中的推弦弓和拉弦弓动作的判别。因为视频中的通常包含丰富且相互关联的内容，在这样多维的信息中，仅仅对时空特征进行独立分解建模是不够的，且时空信息的相关性在不同的动作类别之间存在很大的差异，在识别过程中对时空信息的贡献不同。另外，则是动作的时间边界不明确，即动作的开始时间和结束时间不明确、持续时间不确定。基于此，本发明提出了一种基于自适应时空纠缠的视频行为识别方法。

发明内容

为了解决现有技术中的上述问题，即为了解决现有的行为识别方法未注意到时空线索对不同动作类的差异化影响，导致行为类别识别鲁棒性较差的问题，本发明第一方面，提出了一种基于自适应时空纠缠的视频行为识别方法，该方法包括：

S10，从输入视频流中获取待行为识别的图像，作为输入图像；

S20，通过训练好的行为识别模型获取所述输入图像的行为类别；

其中，所述行为识别模型基于卷积神经网络构建，其训练方法为：

A10，获取训练样本图像以及各训练样本对应的行为类别真值标签；所述训练样本图像为按时序信息获取视频数据集中待行为识别的图像；

A20，提取所述训练样本图像的特征，作为第一特征；

A30，获取当前训练次数T，若T为1，则初始化权重参数；否则获取T-1次训练后更新的权重参数；所述权重参数包括第一时间特征权重、第二时间特征权重、第三时间特征权重、第一空间特征权重；

对所述第一特征进行2D卷积处理，并结合所述第一空间特征权重对2D卷积后的第一特征进行加权处理，得到第二特征；对所述第二特征进行批归一化和激活处理，得到第三特征；

A40，基于所述第三特征，计算相邻帧间的特征相似度，并结合所述特征相似度对时间特征权重进行调整；通过调整后的第一时间特征权重对所述第三特征进行加权，加权后输入1D时间卷积模块、通过调整后的第二时间特征权重对所述第三特征进行加权，加权后输入高内聚时间表达模块；将1D时间卷积模块、高内聚时间表达模块处理后特征进行拼接，作为第四特征；所述1D时间卷积模块、所述高内聚时间表达模块为的卷积层；

A50，结合所述第三时间特征权重对所述第四特征进行加权，并基于加权后的第四特征进行行为类别的预测，得到预测的行为类别；