[发明专利]一种基于两级池化S2E模块的姿态识别方法

说明书

本发明涉及姿态识别技术领域，提供了一种基于两级池化S2E模块的姿态识别模型的方法基于渐进两级池化的S2E模块的姿态识别模型，该技术方案是基于ResNet‑101网络结构的主干网络，提出了一个新的具有特征压缩和激励功能的S2E模块，形成新的模型。S2E模块通过建立更好的通道注意力机制来加速模型收敛，能够帮助网络更快速地从大量的通道图中提取特征，并过滤出更关键的特征信息，从而使网络模型能够更准确地识别数据。实验结果证明新的模型能够平衡预测精度、计算资源消耗及运行速度的问题。同时，在姿态识别的定性比较实验中，我们的模型能够专注于更多的细节区域，并避免由于姿态交叉和遮挡等原因造成的错误识别。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于渐进两级池化S2E模块的注意力机制的姿态和动作识别方法。

背景技术

随着人工智能技术的快速发展和大数据时代海量数据的倍增，行人动作识别在视频监控、人机交互、安防及体育赛事精细动作分析等领域得到了越来越广泛的应用。但是由于目标遮挡、光照变化和背景复杂等问题，行人动作识别效果并不理想，针对复杂场景下动作识别精确性的问题，基于注意力机制的姿态识别技术很好地解决了这一技术难题。传统的注意力机制通常用于评估信息之间的依赖关系，因此它在自然语言处理任务之中得到了广泛的运用。

目前，大多数基于神经网络的姿态识别算法都集中在增加神经网络的宽度、深度和分辨率，以增加计算资源的消耗和训练速度，从而获得预测精度的提高；而基于SE的压缩和激发模型属于轻量级网络的小型附加模块，SE模型轻量高效地实现了对通道内特征的激发或抑制，并将其嵌入到各种网络中，取得了良好的效果。但是，这种关注机制在压缩和提取深层语义特征方面不够准确，同时不能准确提取分布不均的特征图信息。

因此，针对以上不足，需要提供一种能够解决预测精度与计算资源消耗和运行速度之间的平衡问题的模型。

发明内容

本发明要解决的技术问题在于姿态估计过程中难以平衡预测精度进和计算资源消耗和运行速度，以及在混沌姿态识别的定性比较实验中，因姿态交叉和遮挡等原因造成的错误识别的问题。针对现有技术中的缺陷，提供一种能够提高混沌状态中姿态识别的精度，同时能够控制计算资源消耗和时间耗费的技术方案。

为了解决上述技术问题，本发明提供了一种基于两级池化S2E模块的姿态识别方法，包括以下步骤：

步骤1：对输入的图像进行人体边界框的检测，选用YOLOv3-spp进行目标检测，结合FPN的金字塔结构两步框架的模型实现检测出多种尺度的人体框姿态；

步骤2：对人体姿态的边界框进行冗余的判断计算，并删除或者融合多余的检测框，

步骤3：将一系列的人体检测框boxes缩放为320x256的尺寸，空白的部分均以0填充，将处理过后的人体检测框依次送入结合S2E-ResNet-101模块的sppe(single-personpose estimator)模型中，独立地对每个人体框进行姿态估计的检测；然后使用DUC将骨干网络输出的10x8分辨率的特征图上采样恢复至80x64；步骤4：生成姿态预测的关键点热图，使用一个替代全连接层的输出通道为17的卷积，得到关键点热图，然后检测热图中的最大值点直接生成人体的关键点预测，并将值直接作为置信度进行下一步的处理；

步骤5：通过pose-nms评估其中可能重复的姿势，pose-nms每一次将置信度最高的估计姿态作为标准，评估剩下的姿势和原姿势的相似度；评估相似度时，包括了两个姿势同一部位关键点的相似程度，还包括了不同部位但是空间近似的关键点的相似程度，最终的相似分数由这两者乘以各自的权重相加而得来，如果评估值高于设定的阈值则将它们放入一个集合，之后对将这些放在一个集合中的重复的姿势基于每个点的置信度分配权重并进行融合并输出，重复这个过程直至所有的姿势都被输出或者融合；