[发明专利]基于Bi-LSTM-Attention模型的人体行为识别方法

权利要求书

1.一种基于Bi-LSTM-Attention模型的人体行为识别方法，其特征在于，包括以下步骤：

步骤S1，将提取的视频帧输入InceptionV3模型，使用InceptionV3模型增加卷积神经网络深度的同时减少网络参数，充分提取视频帧的深度特征，得到相关的特征向量；

步骤S2，将步骤S1得到的特征向量传入到Bi-LSTM神经网络中进行处理，通过Bi-LSTM神经网络充分学习视频帧之间的时序特征；

步骤S3，把步骤S2得到的时序特征向量传入到注意力机制模型自适应地感知对识别结果有较大影响的网络权重，使得这些网络权重相关的特征能够得到更多的关注。

2.如权利要求1所述的基于Bi-LSTM-Attention模型的人体行为识别方法，其特征在于，

步骤S1中，InceptionV3模型将不同的卷积层通过并联的方式结合在一起，同时使用不同尺寸的卷积核对视频帧进行卷积操作，最后通过滤波器融合层把不同卷积核处理的特征向量拼接起来，通过全连接层输出深度特征矩阵用于传输到Bi-LSTM神经网络中。

3.如权利要求1所述的基于Bi-LSTM-Attention模型的人体行为识别方法，其特征在于，

步骤S2具体包括：

w_i(i＝1…6)表示一层网络层到另一网络层的权重；{…h_t-1,h_t,h_t+1…}表示LSTM神经网络中的前向传播层，前向传播层的输入是{…x_t-1,x_t,x_t+1…}从前向后的特征序列；

{…h_t+1',h_t',h_t-1'…}表示LSTM神经网络中的后向传播层，后向传播层的输入是{…x_t+1,x_t,x_t-1…}从后向前的特征序列；

其中的x_t表示所提取的视频帧通过InceptionV3模型提取深度特征后得到的特征向量；如下式：

h_t＝f(w₁x_t+w₂h_t-1+b₁) (1)

h′_t＝f(w₃x_t+w₅h_t+1+b₂) (2)

o′_t＝g(w₄h_t+b₃) (3)

o″_t＝g(w₆h′_t+b₃) (4)

o_t＝(o′_t+o″_t)/2 (5)

上式(1)、(2)、(3)、(4)中的f和g代表激活函数，b₁、b₂、b₃、b₄代表隐藏单元的偏置系数，o'，o”为两个LSTM单元在相应时刻分别处理Inceptionv3层输出的特征向量的结果；把相应时刻的两个特征向量相加求和取平均值作为输出的时序特征向量。

4.如权利要求1所述的基于Bi-LSTM-Attention模型的人体行为识别方法，其特征在于，步骤S3具体包括：

o_t表示从Bi-LSTM神经网络中输出的第t个时序特征向量，然后把时序特征向量传入到注意力机制模型中，经过注意力机制模型中的隐藏层得到初始状态向量S_t；权重系数α_t表示初始状态向量S_t在最终输出的状态向量Y中所占的比重大小；各个初始状态向量S_t与权重系数α_t的乘积的累加和得到最终输出的状态向量Y；计算公式如下：

e_t＝tanh(w_ts_t+b_t) (6)

tanh表示激励函数，n表示视频帧的数量；e_t表示第t个时序特征向量的状态向量S_t所决定的能量值，w_t和b_t表示权重和偏置；通过式(7)以e为底数各个部分能量值的次方与之前部分的能量值的累加和的比值可以得到对分类结果有多大影响的权重系数，由此实现了初始状态到注意力状态的转换；然后如式(8)得到最终输出的状态向量Y。