[发明专利]基于动态轻量高分辨率网络的人体姿态估计方法

权利要求书

1.基于动态轻量高分辨率网络的人体姿态估计方法，其特征在于，所述方法的步骤为：

步骤1、获取人体姿态估计数据集，包括训练集和测试集，并对其进行数据预处理；

步骤2、构建新型人体姿态估计网络Dite-HRNet，所述新型人体姿态估计网络Dite-HRNet由1个高分辨率主干网络和3个不同分辨率的分支网络组成，主干网络和3个分支网络分别包含不同超参数配置的动态上下文模块和多尺度融合模块；所述新型人体姿态估计网络Dite-HRNet包含4个阶段，在第2、3、4阶段开始时，将3个分支网络逐一添加至主干网络，形成多分支并行的网络结构，相邻阶段之间经由过渡卷积模块使每个新添加的分支网络的输出具有前一个分支网络或主干网络1/2倍的分辨率和2倍的通道数量；

所述动态上下文模块为动态多尺度上下文模块或动态全局上下文模块，网络的第1阶段包含1个步长为2的3×3卷积层和1个动态全局上下文模块；网络的第2、3、4个阶段中的主干网络和分支网络由跨分辨率单元堆叠构成，每个单元包含2个动态多尺度上下文模块和1个多尺度融合模块；

主干网络全程保持高分辨率的特征输出，并通过多尺度融合模块将该高分辨率特征输出与来自所有分支网络的多种尺度下的特征输出进行重复跨分支融合来生成网络的最终输出；

步骤3、使用步骤1中得到的训练集数据，对所述新型人体姿态估计网络Dite-HRNet进行训练；

步骤4、使用步骤3训练得到的人体姿态估计网络模型在步骤1中得到的测试集数据上进行测试；

所述动态多尺度上下文模块和动态全局上下文模块均先使用通道分割操作将所有输入通道平均分成数量相等的2组，从而在模块内部形成2个分支，并在这2个分支上分别执行不同的操作，然后把2个分支的输出在通道维度上重新拼接，最后使用通道混洗来在具有不同特征表示的2组通道之间进行信息交换；

在所述动态全局上下文模块中，其中一个分支上依次执行1个步长为2的3×3动态深度卷积、1个全局上下文建模操作和1个1×1动态卷积，而另一个分支上则依次执行1个3×3动态深度卷积、1个全局上下文建模操作、1个1×1动态卷积和1个步长为2的3×3动态深度卷积；

在所述动态多尺度上下文模块中，其中一个分支上依次执行1个密集上下文建模操作、1个动态金字塔卷积和1个全局上下文建模操作，而另一个分支上不执行任何操作；

所述动态金字塔卷积的实施步骤为：

a）使用通道分割操作来将所有输入特征通道平均分成数量相等的G组；

b）为每组通道都分配N个不同卷积核，其中每个卷积核的权重参数都是随机生成的，不同组的卷积核大小不同，G组通道一共有G×N个卷积核；

c）根据各组通道的不同输入特征来为同一组通道上的N个卷积核计算注意力权重，G组通道一共有G组注意力权重；

d）利用所述注意力权重对同一组通道上的N个卷积核的权重参数进行加权融合，G组通道一共有G组加权融合后的卷积核权重参数；

e）使用加权融合后的G组卷积核权重参数在其各自组的通道上分别进行具有不同卷积核大小的卷积操作，G组通道一共有G组不同尺度的卷积特征输出；

f）把G组卷积特征输出在通道维度上重新拼接起来；

d）使用通道混洗操作来在具有不同尺度特征表示的G组通道之间进行信息交换；

所述注意力权重的计算步骤为：先将输入特征经过全局平均池化，得到一个特征向量，将此向量经过一个全连接层映射为一个N维向量，此维数即对应为每组通道分配的卷积核数目N，再将此N维向量依次经过一个ReLU激活层、一个全连接层和一个Sigmoid激活层，最终得到注意力权重；

所述密集上下文建模操作的步骤为：在第n阶段，通过自适应上下文池化操作，来自所有n个分支的输入特征都被下采样至当前阶段中的最低特征分辨率H_n×W_n；然后把所有下采样后的特征拼接到一起，再对这所有特征同时进行上下文重排操作；最后，再把经过重排的上下文特征全部上采样至其各自原有的分辨率，分发回到其各自所属的分支网络上，分别地进行上下文加权操作，自此实现密集上下文建模；

在高分辨率网络的第k分支上，经过自适应上下文池化操作后的得到的新特征可以表示为：

其中，ACPool()()表示自适应上下文池化操作，H_n和W_n分别表示当前阶段最低特征分辨率的高和宽，X_k表示第k分支上的原始特征；

对来自所有分支的池化后的特征进行特征拼接和上下文重排操作后，得到的新特征可以表示为：

其中，Shift()表示上下文重排操作，Cat()表示特征拼接操作；

经过重排的上下文特征分发回到其各自所属的分支网络上，并与原始特征进行上下文加权操作，得到最终的输出特征，第k分支上的输出特征Y_k可以表示为：

其中，Weight()表示上下文加权操作，Upsample()表示上采样操作；

所述全局上下文建模操作的步骤为：先通过自适应上下文池化操作将当前分支网络上的特征下采样至分辨率为1×1，然后依次进行上下文重排和上下文加权操作；第k分支上的最终输出特征Y_k可以表示为：

。