[发明专利]人体行为识别模型及其构建方法和人体行为识别方法

权利要求书

1.人体行为识别模型的构建方法，其特征在于，包括：

获取包括若干人体行为视频的样本库，并对样本库中的所有人体行为视频进行预处理；

采用3D卷积神经网络提取预处理后的人体行为视频的特征向量；

将提取的特征向量输入库伦力场，所有特征向量在相同类产生引力，不种类产生斥力的作用下相对移动进行聚类；

采用损失函数计算特征向量所代表的质点当前位置与相似度函数最小时特征向量的目标位置之间的误差；

当所述误差大于等于设定阈值时，将所述误差进行反向传播，并调整3D卷积神经网络参数，直至误差小于设定阈值；

当所述误差小于设定阈值时，完成3D卷积神经网络的训练，并采用分类器对特征向量进行训练；

计算分类器的分类输出结果与样本的标签之间的差异，当所述差异大于等于预设值时，将所述差异反向传播，并更新分类器的参数；

当所述差异小于预设值时，记录分类器当前的优化参数、聚类后子行为类别标签及聚类后子行为类别标签对应的人体行为视频；

采用设置有优化参数的分类器和优化后的3D卷积神经网络形成人体行为识别模型。

2.根据权利要求1所述的人体行为识别模型的构建方法，其特征在于，所述损失函数的计算公式为：

其中，为第i个样本的损失值；W,b分别为3D卷积神经网络的权值和偏置；为第i个样本第j维度的值；为相似度函数值达到最小值时，第i个样本第j维度的目标值；为衰减项。

3.根据权利要求1所述的人体行为识别模型的构建方法，其特征在于，所述相似度函数的计算公式为：

其中，D(x_i,x_j)为种类x_i和种类x_j的相似度；m_i为种类i的均值向量；m_j为种类j的均值向量；和为种类i和种类j的类内方差。

4.根据权利要求1-3任一所述的人体行为识别模型的构建方法，其特征在于，所述3D卷积神经网络包括七层，第一层为输入层，其具有三个通道，三个通道分别接收预处理后的人体行为视频当前时刻上一秒的人体行为的多帧图像、光流在x方向轴上的分量和光流在y方向轴上的分量；

第二层为三维卷积层，用数量为n、尺度为cw*ch*cl的卷积核对第一层输入的图像和光流进行卷积运算；第三层为三维下采样层，用尺度为pw*ph*pl的卷积核对第二层的输出进行最大池化；

第四层为三维卷积层，采用第二层相同的运算方式对第三层的输出进行卷积运算；第五层为NIN层，采用由两层感知机卷积层的网络组成，用于根据第四层的输出提取人体行为的非线性特征；

第六层为金字塔下采样层，由不同大小的三维下采样层组成，用于对第五层输出的人体行为的非线性特征进行下采样处理；第七层是全连接层，根据第六层的输出得到固定维度的特征向量。

5.根据权利要求4所述的人体行为识别模型的构建方法，其特征在于，所述第二层对第一层输入的图像和光流进行卷积运算的计算公式为：

其中，w为卷积核的权重；u为输入层三个通道的图像灰度值、光流的水平分量和垂直分量；v^xyz为三维卷积层的输出；P、Q分别为输入层输出的二维矩阵的总行数和总列数；R为人体行为视频的长度；p、q分别为输入层输出的二维矩阵中第p行和第q列；r为人体行为视频的第r帧；cw为卷积核的宽度，ch为卷积核高度，cl为卷积核在时间轴上的长度。

6.根据权利要求4所述的人体行为识别模型的构建方法，其特征在于，采用三维下采样层对第二层的输出进行最大池化时三维重叠最大下采样的计算公式为：

其中，x为第二层三维卷积提取的特征；y为采样后得到的输出，s、t和r分别为图像在宽度、高度和视频时间长度三个方向的采样步长；m、n和l是第三层池化层的feature map在x方向、y方向和时间轴上的元素索引；S₁、S₂和S₃是第二层输出矩阵的总行数、总列数和总帧数。