[发明专利]一种基于双注意力机制的人体关键点检测方法

说明书

本发明涉及一种基于双注意力机制的人体关键点检测方法，包括：获取人体关键点检测数据集，包括训练数据集和测试数据集、对训练数据集和测试数据集进行预处理、搭建人体关键点检测网络，在提取特征的残差块中增加通道注意力和空间注意力模块、用人体关键点检测网络对预处理后的训练数据集进行指定次数模型训练、评估并存储训练的网络模型、用人体关键点检测网络模型在测试数据集上进行测试。本发明提供的方法对人体关键点的检测更为准确，尤其是对困难关键点的检测。

技术领域

本发明涉及计算机视觉领域和深度学习领域，特别是基于深度学习的人体关键点检测方法。

背景技术

人体关键点检测是诸多计算机视觉任务的基础，在行为识别、人物跟踪、步态识别等相关领域的研究中都起到了基础性的作用。人体关键点检测主要是对图像中人体的一些关键点(手腕、膝盖、脚踝和面部等关节点)进行检测，对于描述人体姿态，预测人体行为至关重要。因此，近十年来该领域的研究者试图使用不同方法来解决这个问题，从最开始的图形结构和图模型，到后来的深度图。这些传统方法虽然都取得了一些进展，但是准确度较低，难以投入实用。直到2014年，DeepPose首次将深度神经网络应用在人体关键点检测问题上，提出通过级联的卷积神经网络来预测人体关键点。2016年，随着深度学习的爆发，出现了一系列基于深度学习的算法，例如Hourglass，CPM，OpenPose，G-RMI，RMPE，CPN，HRNet[1]，人体关键点检测准确度也随之不断提升。这些算法虽然整体提高了人体关键点检测的准确度，但是在复杂的场景下，特别是对于困难关键点的检测，其准确度仍然有待提高。

注意力机制最近几年在图像处理、语音识别和自然语言处理等领域都得到成功应用。计算机视觉中的注意力机制是人类视觉所特有的大脑信号处理机制，人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，而后对这一区域投入更多注意力资源，以获取更多关注目标所需要的细节信息，抑制其他无用信息。当前的注意力机制主要有关注图片不同特征的通道注意力(Channel Attention)和关注图片不同区域的空间注意力(Spatial Attention)，代表算法SENet[2]提出的通道注意力模块，提升了模型对不同通道特征的敏感性，从而带来性能的提升。而CBAM[3]和BAM[4]则是同时引入了两种注意力机制，相比SENet[2]只关注通道的注意力机制，增加了对图片不同区域的关注，整体网络性能得到进一步提升。因此，在人体关键点检测算法中同时加入通道注意力和空间注意力机制可以帮助模型对输入特征的每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断。

参考文献：

1.Ke Sun,Bin Xiao,Dong Liu,and Jingdong Wang.Deep High-ResolutionRepresentation Learning for Human Pose Estimation.In:Proc.Of Computer Visionand Pattern Recognition(CVPR).2019.

2.J.Hu,L.Shen,and G.Sun.Squeeze-and-Excitation Networks.In:Proc.OfComputer Vision and Pattern Recognition(CVPR).2018.

3.S.Woo,J.Park,J.Y.Lee,and I.So Kweon.CBAM:Convolutional BlockAttention Module.In:Proc.of European Conf.on Computer Vision(ECCV).2018.

4.J.Park,S.Woo,J.Y.Lee,and I.So Kweon.BAM:Bottleneck AttentionModule.In:Proc.of British Machine Vision Conference(BMVC).2018.

发明内容