[发明专利]一种基于深度学习的行为识别技术方法

权利要求书

1.一种基于深度学习的行为识别技术方法，其特征在于：含有以下步骤，

步骤1、将3D卷积神经网络引入到双流卷积神经网络中，并且采用双流卷积神经网络和GRU网络相结合的方式搭建更深层次的时空双流CNN-GRU神经网络模型；

步骤2、在时空双流卷积神经网络中的空间流和时间流分别使用3D卷积神经网络，将更多的视频帧输入到网络中参与网络的训练，提取视频的时间域和空间域特征；

步骤3、将时间域特征和空间域特征相融合成有时间顺序的时空特征序列，将时空特征序列作为GRU网络的输入.根据GRU网络能记忆信息的能力，提取时空特征序列的长时间序列化特征，利用softmax分类器进行视频的行为识别；

步骤4、提出新的基于相关熵的损失函数；

步骤5、最后针对模型中存在大量的冗余信息，借鉴人脑视觉神经注意力机制处理海量信息的方法，在时空双流CNN-GRU神经网络模型进行时空特征融合之前引入注意力机制，使空间流特征向量和时间流特征向量进行自适应加权融合。

2.根据权利要求1所述的基于深度学习的行为识别技术方法，其特征在于：所述步骤2中时空双流CNN-GRU神经网络基本框架中，将视频处理成空间流和时间流所需的数据，空间流输入的是视频的多个静态的图片帧块，时间流的输入是视频的光流图，通过空间流和时间流3D卷积神经网络分别提取视频的时间维度上的表征信息和运动信息，其中空间流使用3D卷积核对视频帧块进行卷积，获取视频帧块的时间特性，时间流以多个连续的光流图块作为模型的输入，光流图是通过比对相邻帧的像素值变化得到像素运动的图片。

3.根据权利要求1所述的基于深度学习的行为识别技术方法，其特征在于：所述步骤3中对空间流特征向量和时间流特征向量进行最大值融合，得到时空特征向量序列作为GRU网络的输入，具体过程如下：采用两层GRU网络，每层512个神经元，当空间流特征向量和时间流特征向量融合后按顺序输入到GRU网络中，GRU网络通过其神经元中更新门和重置门的设计，控制神经元中前一刻的隐层输出对当前隐层的影响程度，进行选择性的训练，提取时空特征融合向量时间维度上的信息，即提取视频的运动信息，GRU网络的更新公式如下：

其中：r_t是t时刻的重置门，由新输入x_t前状态h_t-1和权重W_r计算而得，z_t表示t时刻的更新门，由新输入x_t前状态h_t-1和权重W_z计算更新其值，表示t时刻的候选激活状态，由新输入x_t前状态h_t-1和权重W计算更新其值，r_t的取值在0和1之间，为了约束h_t-1，h_t表示t时刻的激活状态.根据新的z_t的前状态h_t-1和的值，得到新的GRU的输出值，通过GRU网络学习时空特征向量的时序性信息，特征向量经过GRU网络的学习，进入全连接层，该层中加入了Dropout技术，再通过softmax分类器进行分类。

4.根据权利要求1所述的基于深度学习的行为识别技术方法，其特征在于：所述步骤4中含有以下步骤，步骤a，信号传入模型，经过模型的处理再输出信号，称为前项传播，网络中的参数在传输过程中只参与计算，其值不变，其公式为，

上式中J(W,b)是均方误差损失函数，后面一项是权重衰减项，其中初始化参数W和阈值b，λ的作用是对前后两部分的相对重要性进行调整；

步骤b，误差信号在模型中从后往前逆向传播，误差信号是输出信号和标记信号的差值，通过损失函数的作用，误差信号逐层向前传递，传递的过程中会修改网络的参数，逐渐使损失函数变小，让网络的输出信号能更接近标记信号，其中步骤b分为以下几步：

Step1、初始化参数W和阈值b，样本输入到神经网络，在模型中从前往后依次通过各层的传递，并且计算各层(L₂,L₃,…,L_n)的神经元的值，最后在输出层输出；

Step2、计算输出层的残差：

输出层的残差是模型输出的结果与标记值的差值，表示第n层第i个节点的差值，

其中，表示第n层第i个节点的输入，表示第n层第i个节点的输出，

Step3、依次向前计算各层(L_n-1,L_n-2,…,L₂)的残差：

隐藏层每个神经元的残差是其后一层所有神经元的残差和权值分别相乘后再相加而得，

Step4、计算偏导数，更新参数

其中，表示第l层第j个节点的输出。