[发明专利]一种人体行为识别方法

说明书

针对2s‑AGCN网络模型的时域网络结构是单一的，采用一维卷积层对时间动态进行建模，难以捕捉复杂的节点时域特征的问题，本申请提出了一种人体行为识别方法，具体为一种多尺度时空卷积网络的人体行为识别模型，即在基线模型2s‑AGCN基础上设计并嵌入多尺度时域网络模块，构建了MT‑AGCN模型，该多尺度时域网络模块一方面增加了网络的宽度，增强了网络对尺度的适应性，另一方面网络中不同支路的感受野不同，提取时域信息的尺度是不同的。随着训练的进行，MT‑AGCN网络模型不断学习节点时域特征，通过不同尺度的时域信息表现出的行为信息可以使得网络在特征提取时更关注显著区域。

技术领域

本申请涉及图像识别领域，尤其涉及一种人体行为识别方法。

背景技术

随着我国社会经济的快速发展，摄像头应用日渐普遍，获取的视频数据越来越多，随之面临着观察和分析视频数据所需的高昂人工成本的问题。人体行为识别的任务是将人体动作序列进行正确的分类。随着深度相机的发展和人体姿态估计算法的出现，使得人体骨架数据的采集难度降低。与视频图像数据相比，人体骨架数据不易受到光照变化影响，对于遮挡和复杂背景具有一定的鲁棒性。

针对3D人体骨架数据，国内外学术界提出了不少解决方案。其中，模型 2s-AGCN采用单尺度卷积对时域信息进行提取，网络模型的时域网络结构是单一的，采用一维卷积层对时间动态进行建模，难以捕捉复杂的节点时域特征。

发明内容

针对2s-AGCN网络模型的时域网络结构是单一的，采用一维卷积层对时间动态进行建模，难以捕捉复杂的节点时域特征的问题，本申请提出了一种人体行为识别方法，该方法是一种嵌入多尺度时域卷积网络(multiscale time convolutional network，MTCN)模块的人体行为识别算法，一方面该多尺度时域网络模块增加了网络的宽度，增强了网络对尺度的适应性，另一方面网络中不同支路的感受野不同，提取时域信息的尺度是不同的。随着训练的进行， MT-AGCN网络模型不断学习节点时域特征，通过不同尺度的时域信息表现出的行为信息可以使得网络在特征提取时更关注显著区域。本方法解决了模型 2s-AGCN难以捕捉复杂的节点时域特征的问题。

本申请实施例提供了如下技术方案：

一种人体行为识别方法，包括：

根据人体节点结构和时间的自然连通性，构造时空骨架图；

将多尺度时域卷积网络模块嵌入到2s-AGCN网络模型中，得到初始的多尺度时空卷积网络的人体行为识别模型；

将训练数据集结合构造的时空骨架图，训练初始的多尺度时空卷积网络的人体行为识别模型得到最终的多尺度时空卷积网络的人体行为识别模型；

将测试数据集结合构造的时空骨架图，输入最终的多尺度时空卷积网络的人体行为识别模型，得到识别结果。

其中，所述多尺度时域卷积网络模块对时域信息进行多尺度特征提取，利用扩张卷积提取不同尺度的内容信息，并保持输出特征图的分辨率不变，网络中扩张卷积的扩张率α取值为[1,2,...,d]，最后对不同尺度的特征进行级联融合，当α＝1时，卷积核的感受野为3*1＝3，参数量为3；当α＝2时，卷积核的感受野为5*1＝5，相当于5*1的卷积核，参数量为3。

其中，多尺度时空卷积网络的人体行为识别模型中时空特征提取网络主要由9个时空卷积网络模块(B1-B9)构成，每个时空卷积网络模块的三个数字分别表示输入通道数、输出通道数和步长。