[发明专利]基于分割注意力的特征融合人体行为识别系统及方法

说明书

本发明公开了计算机视觉的动作识别技术领域的一种基于分割注意力的特征融合人体行为识别系统及方法，包括：获取视频样本；基于视频样本进行逐帧分解采样；将采样后的视频帧输入分割注意力网络中进行深度特征提取，输出特征向量；将提取的特征向量输入到双向长短时记忆网络中建模时间信息，提取时间特征；基于提取的时间特征，使用softmax分类器对其结果进行动作类别分类，其中得分最高的动作为识别结果，所述动作得分为该类动作的识别准确率。本发明能够解决传统卷积神经网络所提取特征精确度不足的情况，以及单向长短时记忆网络不能充分利用时间信息的问题，有效提升了识别性能。

技术领域

本发明涉及一种基于分割注意力的特征融合人体行为识别系统及方法，属于计算机视觉的动作识别技术领域。

背景技术

人体行为识别是指利用模式识别、机器学习等方法，自动分析识别出视频中的人体行为，在视频检索、安全监控、智能家居等领域有着广泛应用。与单图像识别相比，动作识别不仅需要提取动作的空间特征，还要对视频帧之间的时间相关信息进行建模。此外视频中的背景、光照、视角等变化也会影响识别效果，因此设计一个高效准确的行为识别算法十分具有挑战性。

传统人体行为识别算法通过提取运动目标的特征描述子等手工特征来表征人体动作，从而达到识别的目的。近年来，深度学习发展迅速，卷积神经网络在图像领域取得了巨大成功。使用深度学习中的卷积神经网络通过自学习的方式来提取动作特征，成为人体行为识别领域的主流方法。

目前，基于深度学习的人体行为识别算法大致可以分为三大类。第一类是使用双流神经网络分别建模视频帧的空间和时间信息。双流网络极大地提高了识别准确率，但是双流网络在空间流仅操作一帧，在时间流仅操作短片段中的单堆帧，对视频中的时间信息利用有限。第二类是使用3D卷积神经网络直接建模视频的时空信息。3D卷积神经网络使用大小为3×3×3的卷积核直接在时间和空间维度操作16帧视频输入，最后使用Softmax分类器得到视频分类结果。3D卷积神经网络仅使用RGB视频帧作为输入，不需要计算额外的光流，提升了数据预处理速度，但是由于其三维结构，网络参数也成倍增加。第三类是基于CNN-RNN的算法框架。该框架使用卷积神经网络提取视频帧的空间信息，再使用循环神经网络提取动作的时间信息，避免了双流神经网络中复杂的光流图提取，相对于3D卷积神经网络也有效降低了计算量。

但是，基于CNN-RNN的算法中存在两大不足：

(1)传统的CNN-RNN算法中使用的卷积神经网络受背景等冗余信息所影响，所提取的特征精确度不足，导致最后的识别精度不够理想。

(2)单向的长短时记忆网络只利用了过去时刻的信息，不能充分对时间信息建模。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于分割注意力的特征融合人体行为识别系统及方法，能够解决传统卷积神经网络所提取特征精确度不足的情况，以及单向长短时记忆网络不能充分利用时间信息的问题，有效提升了识别性能。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了基于分割注意力的特征融合人体行为识别方法，包括：

获取视频样本；

基于视频样本进行逐帧分解采样；

将采样后的视频帧输入分割注意力网络中进行深度特征提取，输出特征向量；

将提取的特征向量输入到双向长短时记忆网络中建模时间信息，提取时间特征；

基于提取的时间特征，使用softmax分类器对其结果进行动作类别分类，其中得分最高的动作为识别结果，所述动作得分为该类动作的识别准确率。

进一步的，基于视频样本进行逐帧分解采样，包括：

对视频帧数量小于30帧的视频样本，不采样；