[发明专利]一种基于两级池化S2E模块的姿态识别方法

权利要求书

1.一种基于两级池化S2E模块的姿态识别方法，其特征在于：包括以下步骤：

步骤1：对输入的图像进行人体边界框的检测，选用YOLOv3-spp进行目标检测，结合FPN的金字塔结构两步框架的模型实现检测出多种尺度的人体框姿态；

步骤2：对人体姿态的边界框进行冗余的判断计算，并删除或者融合多余的检测框，

步骤3：将一系列的人体检测框boxes缩放为320x256的尺寸，空白的部分均以0填充，将处理过后的人体检测框依次送入结合S2E-ResNet-101模块的sppe(single-person poseestimator)模型中，独立地对每个人体框进行姿态估计的检测；然后使用DUC将骨干网络输出的10x8分辨率的特征图上采样恢复至80x64；步骤4：生成姿态预测的关键点热图，使用一个替代全连接层的输出通道为17的卷积，得到关键点热图，然后检测热图中的最大值点直接生成人体的关键点预测，并将值直接作为置信度进行下一步的处理；

步骤5：通过pose-nms评估其中可能重复的姿势，pose-nms每一次将置信度最高的估计姿态作为标准，评估剩下的姿势和原姿势的相似度；评估相似度时，包括了两个姿势同一部位关键点的相似程度，还包括了不同部位但是空间近似的关键点的相似程度，最终的相似分数由这两者乘以各自的权重相加而得来，如果评估值高于设定的阈值则将它们放入一个集合，之后对将这些放在一个集合中的重复的姿势基于每个点的置信度分配权重并进行融合并输出，重复这个过程直至所有的姿势都被输出或者融合；

步骤6：姿态识别可视化输出，对预测的每一组关键点分别进行连接生成人体的姿势，在这个过程当中置信度低的关键点会被抛弃掉，生成后的人体姿势被添加到原图当中，最后进行可视化的输出。

2.根据权利要求1所述的基于两级池化S2E模块的姿态识别方法，其特征在于，所述步骤3的具体过程为：

两层压缩加一个激励模块的S2E(Two-step Squeeze and Excitation)注意力机制；

S2E的第一层压缩操作是局部平均池化操作，对特征图的局部信息进行提取，对分散的特征信息进行有效且公平的提取，第二层压缩操作是一层全局最大池化，提取出之前局部平均池化中最为突出的特征，以下是S2E模块所使用的压缩过程的公式：

I_c＝max(p_c) (2)；

其中，u_c表示输出通道U中的第c个特征图，I_c描述通道长度为c张量信息，s表示特征图的索引，a,b分别表示S2E两层压缩层在相关性矩阵中的位置，l表示网络层数，

压缩模块能够将整个图的信息通过全局平均池化压缩到了一个单元中，进而将整个通道特征图压缩成了c×1的用来描述通道的张量I，其中c是通道的长度，激励模块就用来捕获通道特征图之间的关系了，SE模块的作者选用了两层全连接来实现上述的功能；

A＝σ(W2*ReLu(W1*I)) (3)；

其中W1是第一层c×c/r的全连接层，W2是第二层c×c/r的全连接层，r(reductionratio)是一个降维因子，σ表示激活函数sigmoid，为了能够让最后学习到的注意力不互斥，选择sigmoid函数实现激活，最后将整个算子生成的注意力A的权值与最初的整个通道进行逐特征层的乘算。