[发明专利]人体行为识别模型及其构建方法和人体行为识别方法

说明书

技术领域

本发明涉及物理学、机器学习及深度学习领域，特别涉及一种人体行为识别模型及其构建方法和人体行为识别方法。

背景技术

卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应周围一部分覆盖范围内的单元，对于大型图像处理有出色表现。

由于行为是一个跟时间和空间都有关的人体活动，而传统的2D卷积神经网络，对空间的特征比较敏感，而无法处理视频中的时间特性，将其用作有时序变化的行为的识别，无法满足预期目标；

使用卷积神经网络进行特征提取时，随着其深度的加深，对特征的提取从具体到抽象，从简单到复杂，在样本少、网络深度太深或噪声太大的条件下，十分容易产生过拟合的结果；所谓过拟合就是网络训练出的分类器，只对与训练样本相似的输入敏感，而为其输入同类的其它未见过的测试样例，其特征提取能力及分类能力将会变得很低；为了防止过拟合，卷积神经网络也引入dropout来进行改善，但这个方法将消耗更多的计算资源；

针对在多数行为识别任务中，特征的交叉分布是导致过拟合的常见问题，论文“Action Recognition based on Subdivision-Fusion Model”提出了改进的细分融合模型(SFM)，该模型在细分阶段，多数类别的样本特征都是相似且交叉分布的，SFM将这样的样本分组成多个更具备可区分性的子类别，子类别的边界更容易找到，从而避免过度拟合。在随后的融合阶段，多子类别分类结果被转换回原始的类别识别问题。细分融合模型提供了确定聚类中心数的两种方法，但是其仍存在以下问题：

其中其确定聚类中心数的两种方法：一种是直接观察高维特征通过t-SNE降维后的二维可视化图形，人工选择应该分成多少类，另一种是基于每个类别样本的数量与最少类样本数量的比值确定聚类数目。两种方法都需要人工观察，不能自动进行聚类。而且其性能取决于研究人员对的个人选择。，同时，这个过程必须被人的参与打断。

这些问题都将严重影响行为识别性能及识别程序的稳定性与自动化程度。

发明内容

针对现有技术中的上述不足，本发明提供的人体行为识别模型及其构建方法和人体行为识别方法解决了人体行为识别过程中容易出现过拟合和自动化差的问题。

为了达到上述发明目的，本发明采用的技术方案为：

第一方面，提供一种人体行为识别模型的构建方法，其包括：

获取包括若干人体行为视频的样本库，并对样本库中的所有人体行为视频进行预处理；

采用3D卷积神经网络提取预处理后的人体行为视频的特征向量；

将提取的特征向量输入库伦力场，所有特征向量在相同类产生引力，不种类产生斥力的作用下相对移动进行聚类；

采用损失函数计算特征向量所代表的质点当前位置与相似度函数最小时特征向量的目标位置之间的误差；

当所述误差大于等于设定阈值时，将所述误差进行反向传播，并调整3D卷积神经网络参数，直至误差小于设定阈值；

当所述误差小于设定阈值时，完成3D卷积神经网络的训练，并采用分类器对特征向量进行训练；

计算分类器的分类输出结果与样本的标签之间的差异，当所述差异大于等于预设值时，将所述差异反向传播，并更新分类器的参数；

当所述差异小于预设值时，记录分类器当前的优化参数、聚类后子行为类别标签及聚类后子行为类别标签对应的人体行为视频；

采用设置有优化参数的分类器和优化后的3D卷积神经网络形成人体行为识别模型。

进一步地，所述损失函数的计算公式为：

其中，为第i个样本的损失值；W,b分别为3D卷积神经网络的权值和偏置；为第i个样本第j维度的值；为相似度函数值达到最小值时，第i个样本第j维度的目标值；为衰减项。

进一步地，所述相似度函数的计算公式为：

其中，D(x_i,x_j)为种类x_i和种类x_j的相似度；m_i为种类i的均值向量；m_j为种类j的均值向量；和为种类i和种类j的类内方差。

进一步地，所述3D卷积神经网络包括七层，第一层为输入层，其具有三个通道，三个通道分别接收预处理后的人体行为视频当前时刻上一秒的人体行为的多帧图像、光流在x方向轴上的分量和光流在y方向轴上的分量；