[发明专利]一种基于可变时序的人体行为识别方法

说明书

本发明公开了一种基于可变时序的人体行为识别方法，包括：(1)对输入视频进行预处理操作；(2)搭建网络模型SED3DNet；(3)选择合适的损失函数、优化器；(4)训练网络模型，过程如下所示：(4.1)采用Kaiming‑init的方式初始化参数；(4.2)学习率为0.001，batch_size为16；(4.3)进行损失计算，并利用反向传播机制对权重进行更新；(4.4)训练130个epochs；(4.5)结束训练；(5)进行测试，验证SER3DNet网络的有效性。本发明采用可变时序3D卷积核实现了提取长、中、短等不同时序的特征，克服了相似行为识别难的问题。同时，将3D卷积核分解为空间卷积核与时间卷积核，不仅减少了参数，还增加了网络模型的非线性表达能力，提高了行为识别的准确率。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于可变时序的人体行为识别方法。

背景技术

人体行为识别是计算机视觉领域的重要研究问题，被广泛应用在智能视频监控、智能机器人、人机交互、行为分析等众多领域。

中国发明专利名称：一种基于骨架数据的行为识别系统及方法，专利申请公布号：CN 110427834A；公开了一种基于骨架数据的行为识别系统及方法，首先采集实时视频数据，根据Openpose姿态估计算法，从实时视频数据中提取序列化的人体骨架数据并处理成序列化的非欧式结构数据。然后，使用基于时空图卷积神经网络和长短周期记忆网络，从序列化的非欧式结构数据中识别出对应的行为类别。该方法提取骨架数据过程复杂，不能进行端对端训练，无法满足实时性要求。

中国发明专利名称：基于伪3D卷积神经网络的组群行为识别方法，专利申请公布号：CN 110378281A；公开了一种基于伪3D卷积神经网络的组群行为识别方法，利用伪3D提取特征，使用Softmax分类对时空特征进行分类，完成单人行为识别；同时，利用人体目标的位置信息和外观特征，构建人体目标交互图，并进行组群行为识别。该方法虽然减少了一定量的模型参数，加快了训练速度，但时间卷积核为3，无法处理多帧图像，容易损失时序上的有效信息，准确率低。

发明内容

本发明针对现有技术的缺陷，提供了一种基于可变时序的人体行为识别方法。

为了实现以上发明目的，本发明采取的技术方案如下：

一种基于可变时序的人体行为识别方法，包括以下步骤：

步骤1，对输入视频进行预处理操作；

步骤2，搭建网络模型SED3DNet；

步骤3，选择合适的损失函数、优化器；

步骤4，训练网络模型，过程如下所示：

步骤4.1，采用Kaiming init的方式初始化参数；

步骤4.2，学习率为0.001，batch_size为16；

步骤4.3，进行损失计算，并利用反向传播机制对权重进行更新；

步骤4.4，训练130个epochs；

步骤4.5，结束训练；

步骤5，进行测试，验证SER3DNet网络的有效性。

进一步地，步骤1预处理具体子步骤如下：

a:由于视频帧存在大量冗余信息，无法获取视频全局特征信息，故本发明采用二次采样的策略对视频数据集进行采样，以提高行为识别的准确率。首先，按照一定的采样率f(f＝4)进行视频采样，获得每个视频对应图像数据集D；然后采用二次采样算法从图像数据集D中均匀采集16帧，形成数据集G。

b:采用随机抖动、水平翻转以及中心裁剪等方法对数据集G进行数据增强，并按照8:2的比例对数据集G进行训练集和测试集的划分，以备网络模型的训练与测试。