[发明专利]一种非局部双流卷积神经网络模型的人体行为识别方法

权利要求书

1.一种非局部双流卷积神经网络模型的人体行为识别方法，其特征在于，

对数据样本使用结合CNN模型与非局部神经网络模块的网络结构进行训练：在除最后一次以外的每次处理时通过卷积层提取特征及池化层降维，再由所述非局部神经网络模块进行非局部特征提取及特征去躁后，进行下一次卷积层及池化层处理；在最后一次卷积层及池化层处理后，通过全连接层汇总数据样本的特征得到特征向量，再通过损失层进行分类和归一化。

2.如权利要求1所述的人体行为识别方法，其特征在于，

在损失层中采用A-softmax损失函数，对分类角度进行m倍数的限制，对全连接层的权值W和偏置b做出||W||＝1和||b||＝0的限制。

3.如权利要求2所述的人体行为识别方法，其特征在于，

限制分类角度的m倍数是m>＝2，m∈N。

4.如权利要求1或2所述的人体行为识别方法，其特征在于，

采用双流卷积神经网络模型，通过空间流CNN模型和时间流CNN模型，来提取视频样本的空间表观信息和时间运动信息；

输入视频样本集经过预处理得到RGB帧和光流图像，将其划分为训练集和测试集，分别送入空间流CNN模型和时间流CNN模型进行训练和测试；

将空间流CNN模型和时间流CNN模型的损失层输出进行加权融合，得到双流卷积神经网络模型的行为识别结果。

5.如权利要求1所述的人体行为识别方法，其特征在于，

所述的局部特征提取模块，按照非局部均值的定义，抽象描述为：

其中，s表示作为输入信号的特征图，y表示输出信号，其大小与s相同；

C(s)是用于归一化的数值；用来计算像素点s_i和像素点s_j之间的相关性；

g(s_j)＝W_gs_j用来计算输入信号在j位置的特征值；

所述局部特征提取模块的输出为z_i＝W_zy_i+s_i；

W_θ，W_g，W_z是可学的权重矩阵，通过1×1的卷积实现。

6.如权利要求2所述的人体行为识别方法，其特征在于，

A-softmax损失函数的表达式如下：

其中，ψ(θ_yi,i)＝(-1)^kcos(mθ_yi,i)-2k，k∈[0，m-1]

θ_j,i表示x_i与其他所有类别的偏置W_j之间的夹角；

θ_yi,i表示x_i与类别y_i的偏置W_yi之间的夹角，j∈[1,K]，K是类别总数。