[发明专利]基于Bi-LSTM-Attention模型的人体行为识别方法

说明书

本发明提供一种基于Bi‑LSTM‑Attention模型的人体行为识别方法，包括以下步骤：步骤S1，将提取的视频帧输入InceptionV3模型，使用InceptionV3模型增加卷积神经网络深度的同时减少网络参数，充分提取视频帧的深度特征，得到相关的特征向量；步骤S2，将步骤S1得到的特征向量传入到Bi‑LSTM神经网络中进行处理，通过Bi‑LSTM神经网络充分学习视频帧之间的时序特征；步骤S3，把步骤S2得到的时序特征向量传入到注意力机制模型自适应地感知对识别结果有较大影响的网络权重，使得这些网络权重相关的特征能够得到更多的关注。本发明能够提高人体行为的识别率。

技术领域

本发明涉及视频分析与识别领域，尤其是一种基于Bi-LSTM-Attention模型的人体行为识别方法。

背景技术

针对人体行为识别，早期大多数是使用人工设计的方法提取视频特征。一种方案使用时空兴趣点的方法提取复杂背景下的人体特征，该方法通过计算视频序列中每个位置的强弱并通过极大值滤波的方法找到时空兴趣点。WANG W等人使用稀疏编码的方法学习静态特征，并用基于最大池化的时域金字塔结构对特征进行直方图表示，最后采用SVM进行分类。另一种方案提出了一种分层聚类多任务学习(HC-MTL)方法，通过目标函数加强共享行为关系和学习特定的行为特征来实现人体行为识别。基于人工特征提取的方法在行为识别方面取得了许多优异的成果，然而也存在一些难以解决的问题，人工设计的方法往往不能表达出动作的本质特征，而且由于动作的多样性，往往很容易忽略一些重要的特征，对于行为识别有着较大的影响。

JI S等人首次提出了一种3D CNN算法，该方法通过对时间轴上的视频帧运用3D卷积核来捕捉视频的空间和时间信息用来识别人体行为。B.Mahasseni等人通过构造人体3维骨架，然后利用LSTM学习人体3维骨架的时序信息用来识别人体行为。Ullah A利用了CNN网络提取视频帧的深层特征，并通过双向LSTM进行学习特征序列中的时序信息，最后通过softmax分类器进行分类。J.Donahue等人提出了一种长期循环卷积网络，该网络从2D CNN中提取特征并通过LSTM网络来学习这些特征之间的顺序关系。在行为识别中CNN和LSTM的使用极大的提高了识别的精度，并减少了工作量。但是CNN的深度对视频帧的特征提取有着较大的影响：网络层次低不易表现出图像的深度特征，容易欠拟合；深层次的网络模型容易产生梯度消散难以优化网络模。LSTM无法有效地学习运动的时序特征，缺乏自主适应能力。

本文涉及的术语：

SVM：支持向量机；

3D CNN：3D卷积神经网络；

LSTM：长短时记忆网络。

Attention：注意力。

发明内容

本发明的目的在于克服现有技术中存在的不足，提供一种基于Bi-LSTM-Attention模型的人体行为识别方法，该方法可以学习特征序列中的时序信息，并通过注意力机制训练网络权重，达到更好的性能，减小识别误差。

本发明采用的技术方案是：

一种基于Bi-LSTM-Attention模型的人体行为识别方法，包括以下步骤：

步骤S1，将提取的视频帧输入InceptionV3模型，使用InceptionV3模型增加卷积神经网络深度的同时减少网络参数，充分提取视频帧的深度特征，得到相关的特征向量；

步骤S2，将步骤S1得到的特征向量传入到Bi-LSTM神经网络中进行处理，通过Bi-LSTM神经网络充分学习视频帧之间的时序特征；

步骤S3，把步骤S2得到的时序特征向量传入到注意力机制模型自适应地感知对识别结果有较大影响的网络权重，使得这些网络权重相关的特征能够得到更多的关注。