[发明专利]一种基于双注意力机制的人体关键点检测方法

权利要求书

1.一种基于双注意力机制的人体关键点检测方法，其特征在于，该方法具体包括以下步骤：

步骤S1：获取人体关键点检测数据集，包括训练数据集和测试数据集，所述数据包括含有不同人体姿态的图片以及人体各关节真实值的标记文件，数据集使用的是公开数据集MPII和COCO2107，MPII人体姿态数据集包括25k幅图片和40k个带有16个关键点的人体实例，训练集和测试集分别为28k和12k个实例；COCO2107关键点检测数据集包含200k幅图片和250k个带有17个关键点的人体实例，其中训练集train2017包括58k幅图片和150k个人体实例，验证集val2017和测试集test2017分别包含5k幅图片和20k幅图片；

步骤S2：训练人体关键点检测网络，具体方式包括步骤S21、S22、S23、S24：

步骤S21：对S1获取的训练数据集和测试数据集进行预处理，具体方式为，本发明人体关键点检测网络仅检测人体各关键点，对于图片中人体的检测：MPII数据集使用的是提供的人体框，COCO数据集是用faster-RCNN做人体检测，得到人体检测框；将MPII和COCO训练数据集的人体检测框高宽比固定为4:3，然后从图片中裁剪出人体检测框，并将其大小分别调整为256×256和256×192，同时对数据做数据增强，包括随机旋转(-45°，45°)，随机缩放(0.65，1.35)，翻转；

步骤S22：搭建人体关键点检测网络，在提取特征的残差块中增加通道注意力和空间注意力模块，具体方式为，本发明人体关键点检测网络以高分辨率网络(HRnet)为整体架构，网络并行地连接高到低的子网络，整个过程通过重复融合高到低子网产生的高分辨率表示来生成可靠的高分辨率表征，HRnet整体网络结构分为五个阶段，第一阶段首先由两个步长为2的3×3卷积操作将输入图像卷积两次，使得图像的高(H)和宽(W)变为H/4和W/4的大小，通道数为64，接着由4个改进后的Bottleneck进行特征提取，即对ResNet中的Bottleneck残差块进行并行改进，将其中的3×3卷积层和ResNeXt中的3×3，group＝32卷积层并行连接，然后加入通道注意力和空间注意力，通道注意力是对经过卷积操作后的特征图用最大池化和平均池化在空间维度上进行压缩得到两个不同的空间背景描述：Fc_avg和Fc_max，接着使用由多层感知机组成的共享网络对这两个描述进行计算，计算公式为Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))，得到通道注意力特征图Mc(F)；空间注意力即对得到的通道注意力特征图在通道维度上使用最大池化和平均池化，得到两个不同的特征描述Fs_avg和Fs_max，然后使用拼接操作(Concatenation)将两个特征描述合并，并通过卷积操作生成空间注意力特征图Ms(F)，计算公式为Ms(F)＝σ(f^7×7([AvgPool(F)；MaxPool(F)]))，其中，f^7×7表示7×7的卷积操作。本发明称此改进后的模块为并行残差注意力块—PRAB(ParallelResidual Attention Block)，此时特征图大小为[H/4,W/4]，通道数变为256；第二阶段开始先通过一个步长为1的3×3卷积操作，将特征图通道数变为32，同时在上一阶段的基础上产生一个低分辨率的分支，通过一个步长为2的3×3卷积操作，得到特征图大小为[H/8,W/8]，通道数由256变为64，随后这两个分支分别用4个Basicblock进行特征提取，同第一阶段，在Basicblock中也加入通道注意力和空间注意力，接着进行重复的多尺度融合，将高分辨率通过步长为2的3×3卷积降采样到低分辨率的大小，并与低分辨率相加得到低分辨率分支的输出，同时将低分辨率通过最近邻差值上采样到高分辨率的大小，并与高分辨率相加得到高分辨率分支的输出，最终两个分支输出的特征图大小为[H/4,W/4,32]，[H/8,W/8,64]；第三阶段的输入为第二阶段经多尺度融合后得到的分支，同时在[H/8,W/8,64]分支的基础上产生一个新的低分辨率分支[H/16,W/16,128]，之后每一个分支分别用4个加入注意力模块的Basicblock进行特征提取，同第二阶段，经多尺度融合后得到3个分支[H/4,W/4,32]，[H/8,W/8,64]，[H/16,W/16,128]；第四阶段同第三阶段，得到4个分支[H/4,W/4,32]，[H/8,W/8,64]，[H/16,W/16,128]，[H/32,W/32,256]；第五阶段将低分辨率的3个分支进行上采样，与[H/4,W/4,32]分支进行合并，并通过一个1×1的卷积操作，得到最终的输出结果，即关键点热度图，比如COCO数据集的17个关键点，最终得到的热度图大小为[H/4,W/4,17]；

步骤S23：用步骤S22所述网络对步骤S21处理后的训练数据集进行指定次数模型训练，具体方式为，模型训练使用Adam优化器，初始学习率设置为1e-3，在epoch为170和200时分别把学习率降为1e-4和1e-5，最终训练在epoch＝310时停止；

步骤S24：评估并存储步骤S23训练的模型，具体方式为，对MPII数据集使用PCKh(正确关键点的头部归一化概率)评估，COCO数据集使用OKS(目标关键点相似度)评估，并存储网络训练指定epoch后的最终模型；

步骤S3：用步骤S2训练出的关键点模型在步骤S1获取的测试数据集上进行测试，具体方式为，将测试集数据输入到获取的关键点模型中，通过对原始图像和翻转图像的热度图计算平均值得到最终预测热度图，计算热值最高点到次高点的1/4偏移处为每个关键点的位置预测值。