[发明专利]基于动态轻量高分辨率网络的人体姿态估计方法

说明书

本发明提供了一种基于动态轻量高分辨率网络的人体姿态估计方法，该方法提出了一种动态轻量高分辨率网络Dite‑HRNet，能够高效地提取多尺度下的人体关键点特征以及捕捉不同人体关键点之间的空间上下文信息；通过动态金字塔卷积和自适应上下文建模方法，分别解决了现有高分辨率网络中网络模块过于静态以及对空间上下文捕捉不足的问题，并使用这二者为高分辨率网络特别设计了两种动态上下文模块，分别为动态多尺度上下文模块和动态全局上下文模块，最后充分利用高分辨率网络的并行多分支结构特点，将具有不同超参数配置的动态上下文模块应用到一个轻量级高分辨率网络的不同的分支上，构建出一个高效的轻量级高分辨率网络。

技术领域

本发明涉及深度学习、计算机视觉技术领域，具体是涉及基于动态轻量高分辨率网络的人体姿态估计方法。

背景技术

人体姿态估计，即对图像或视频中重要的人体关节或部位的位置进行检测，是许多计算机视觉技术领域下游应用（如行为识别、人机交互、视频监控等）的前置任务。在人体姿态估计的应用中，特别是在有限的计算资源与设备条件下进行实时应用时，我们不仅要追求更高的检测精度，而且更要保证其具有较高的计算效率。现阶段大多数关于人体姿态估计的方法研究都采用了卷积神经网络来进行人体关键点特征信息的提取与检测，此类卷积神经网络可被称为人体姿态估计网络。而为了对人体关键点进行像素层面上的精确检测，在上述的人体姿态估计网络中，具有高分辨率表示的特征图是不可或缺的。高分辨率网络得益于其独特的并行多分辨率网络分支结构，能够提取包含多尺度信息的高分辨率特征图，其相较于其他卷积神经网络所提取的特征图，具有更丰富、更全面的特征表示。然而，尽管利用高分辨率网络进行人体关键点检测能够达到很高的精度，同时也会伴随着巨大的计算开销。通过对网络的宽度和深度进行缩减可以得到轻量化的高分辨率网络，从而减小计算开销，但是这样的方法亦会使其检测精度大幅下降。

除了网络整体主干结构的设计之外，网络模块的设计同时也是影响卷积神经网络性能的决定性环节。网络模块指的是把卷积、上下采样等一系列以某种固定序列反复出现在网络中的操作集成到一起得到的一种模块化结构，通常作为卷积神经网络主干结构设计的基本组件。现阶段针对高分辨率网络的网络模块设计都是静态的，即其中包含的操作类型和数量都与其输入数据无关。网络模块中各种操作在不同输入数据上的计算效率有高有低，并受到数据的分辨率大小、特征通道数量等因素影响，然而高分辨率网络中包含着众多不同尺度下的特征数据，因此静态的网络模块并不能很好地利用其并行多分辨率网络分支结构的多尺度特点，难以使其达到最优化的计算效率。

另外，传统的人体姿态估计网络都只是通过单一重复的卷积运算操作来提取图像中的人体关键点特征，由于受到卷积感受野大小的限制，这样提取出的特征图只利用了图像的局部像素信息，而忽略了远距离像素间的上下文关系。这种网络只能学习到图像局部区域中人体部位的像素分布模式，因为缺乏全局信息的辅助，而无法很好地把握所有人体部位之间的空间上下文关系，造成图像特征提取的偏差。增大卷积层所使用的卷积核的尺寸可以扩大其在图像上每一次运算的感受野范围，从而捕捉到更多的图像空间上下文信息，但一味地增大卷积核尺寸会致使网络的计算复杂度逐步上升，不利于网络的轻量化设计。因此，要想设计更轻量的高分辨率网络，并使其具有更可靠的性能，需采用更加高效的方式来增强其捕捉空间上下文信息的能力。

发明内容

针对传统人体姿态估计网络存在的上述问题，本发明设计了一种动态轻量高分辨率网络（Dynamic Lightweight High-Resolution Network，Dite-HRNet），首先对高分辨率网络的宽度和深度进行缩减得到一个轻量级高分辨率网络，然后设计一种新型的动态金字塔卷积以及一种高效的自适应上下文信息建模方法，并将它们嵌入到为高分辨率网络特别设计的两种动态上下文模块中，以增强网络提取多尺度人体关键点特征和捕捉空间上下文信息的能力，使网络具有更高的计算效率。

本发明所述的基于动态轻量高分辨率网络的人体姿态估计方法，所述方法的步骤为：

步骤1、获取人体姿态估计数据集，包括训练集和测试集，并对其进行数据预处理；