[发明专利]一种基于特征金字塔网络的单阶段多人姿态估计方法

权利要求书

1.一种基于特征金字塔网络的单阶段多人姿态估计方法，其特征在于，包括：

步骤10、基于MobileNet网络搭建特征金字塔网络，所述金字塔网络用于提取分辨率顺序降低的多张初级特征图，然后进行通道间的信息融合，接着以分辨率最低的初级特征图为起点，对所有初级特征图在特征分支之间进行上采样和特征相加操作，最后进行预测输出；

步骤20、获取多人姿态估计数据集，所述多人姿态估计数据集包括多人姿态图片以及关节点地面真值标注；利用所述多人姿态估计数据集构造中心点热图、上偏移热图、下偏移热图以及关节细化热图作为训练标签，对所述特征金字塔网络进行训练；

步骤30、将待测图像输入训练好的所述特征金字塔网络，根据输出的中心点热图、上偏移热图、下偏移热图以及关节细化热图计算关节位置，然后根据所述关节位置形成完整的人体姿态；

所述步骤10具体包括：

步骤11、创建多个第一卷积核，用于提取图像初级特征并改变图像特征的通道数；

步骤12、在所述多个第一卷积核的输出端，依次级联由多个反向残差单元构成的卷积模块，完成多层特征提取主分支的搭建，所述特征提取主分支输出的多层原始特征图分辨率大小依次降低；

步骤13、在反向残差单元模块提取出的各层原始特征图之后，均设置一组第二卷积核，用于对当前层的原始特征图进行通道间的信息融合，得到对应的融合特征图；

步骤14、以分辨率最低的特征图层次为起点，依次级联多个反卷积模块，用于将当前层的融合特征图的分辨率放大为下一层融合特征图的分辨率大小，得到放大特征图，接着将所述放大特征图与所述下一层融合特征图进行逐位置的元素求和操作，得到强化特征图；

步骤15、利用四组并行的多个第三卷积核对分辨率最大的强化特征图进行预测输出；

所述步骤20中，对所述特征金字塔网络进行训练，具体为：分别计算所述特征金字塔网络预测输出的中心点热图、上偏移热图、下偏移热图以及关节细化热图与训练标签的损失值以及总损失，然后根据所述损失值训练所述特征金字塔网络；

计算中心点热图损失值的公式为：

其中，P(p_j)表示预测的中心点热图中位置为p_j处的预测值，G(p_j)表示由训练标签构造的中心点热图位置为p_j处的真值；

计算上偏移热图损失值的公式为：

其中，i表示不同关节类型对应的热图，p_j表示热图上的某一位置，P_i^u表示预测的关节类型为i的上偏移热图，表示训练标签中关节类型为i的上偏移热图真值；

计算下偏移热图损失值的公式为：

其中，i表示不同关节类型对应的热图，p_j表示热图上的某一位置，P_i^d表示预测的关节类型为i的下偏移热图，表示训练标签中关节类型为i的下偏移热图真值；

计算关节细化热图损失值的公式为：

其中，i表示不同关节类型对应的热图，p_j表示热图上的某一位置，表示预测的关节类型为i的细化热图，表示训练标签中关节类型为i的细化热图真值；

计算总损失的公式为：L＝αM+βL_u+γL_d+δL_o

其中，α,β,γ,δ表示各个损失的权重；

所述步骤30具体包括：

步骤31、获取待测图像，将所述待测图像进行预处理，然后输入训练好的所述特征金字塔网络中，得到预测的中心点热图、上偏移热图、下偏移热图以及关节细化热图；

步骤32、在预测的中心点热图中，利用非极大值抑制算法得到至少一个中心关节点位置；

步骤33、根据所述中心关节点位置，在预测的上偏移热图中，获取每一类上半身关节和髋部关节对应的响应值，根据所述响应值，计算得到每一类上半身关节和髋部关节模糊位置；

步骤34、根据所述每一类上半身关节和髋部关节的模糊位置，和预测的关节细化热图中对应关节的响应值，计算得到每一类上半身关节和髋部关节的精确位置；

步骤35、根据所述髋部关节的精确位置以及每一类下半身关节的下偏移热图，计算得到每一类下半身关节的模糊位置；

步骤36、根据所述每一类下半身关节的模糊位置和预测的关节细化热图中对应关节的响应值，计算得到每一类下半身关节的精确位置；

步骤37、根据全身关节的精确位置，基于预先设定的关节排序，依次连接各关节形成完整的人体姿态。

2.根据权利要求1所述的方法，其特征在于：所述步骤20中，所述中心点热图根据中心关节点的位置构造，所述上偏移热图根据中心关节点分别到每一类上半身关节以及髋部关节的偏移量构造，所述下偏移热图根据髋部关节分别到每一类下肢关节的偏移量构造，所述关节细化热图根据除中心关节点以外的其它关节点的位置构造。