[发明专利]一种基于特征金字塔网络的单阶段多人姿态估计方法

说明书

本发明实施例公开了一种基于特征金字塔网络的单阶段多人姿态估计方法，涉及人体姿态估计技术领域，包括：步骤10、基于MobileNet网络搭建特征金字塔网络，所述金字塔网络用于提取分辨率顺序降低的多张初级特征图，然后进行通道间的信息融合；步骤20、利用多人姿态估计数据集构造中心点热图、上偏移热图、下偏移热图以及关节细化热图作为训练标签，对所述特征金字塔网络进行训练；步骤30、将待测图像输入训练好的所述特征金字塔网络，计算关节的位置并形成完整的多人人体姿态。本发明实施例使得网络能够高效的进行信息流动，提升了人体姿态估计的精度；同时通过快速的后处理匹配过程，能够进一步加快多人姿态估计算法的处理速度。

技术领域

本发明涉及人体姿态估计技术领域，特别涉及一种基于特征金字塔网络的单阶段多人姿态估计方法。

背景技术

人体姿态估计是计算机视觉进一步理解人体行为的关键步骤，即通过一张RGB图像有效预测出人体所有关节点并形成正确的姿态。准确预测出人体姿态对更高级别的计算机视觉任务，如人的行为识别、人机交互、行人重识别、异常行为检测等均有重要的意义。

尽管人体姿态估计领域发展迅速，但对于多人姿态估计任务，目前不论是自顶向下还是自底向上的方法，均为多阶段的方法，以上方法均存在的一个问题是耗时且无法发挥CNN网络端到端可训练的优势。传统的姿态估计方法在一味地追求精度时，却忽略了对网络参数、推理速度的思考；导致姿态估计算法难以落地，极大的降低了经济效益。

在网络结构设计方面，HowardA,Zhmoginov A,Chen L C,等人(18th Proceedingsofthe IEEE conference on computervision andpatternrecognition)在论文“Mobilenetv2:Invertedresiduals and linearbottlenecks.”中提出了名为MobileNet的轻量化网络结构，通过将普通的3x3卷积替换为一个3x3深度可分离卷积再加上一个1x1的逐点卷积，来压缩普通3x3卷积的计算量。通过使用反向残差单元，即先用1x1卷积将输入的特征图维度变大，然后用3x3深度可分离卷积做卷积运算，最后使用1x1的卷积运算将其维度缩小，能够保留更多特征信息，保证模型的表达能力。但对于人体姿态估计领域，该网络缺少了对多尺度特征的融合与应用，多尺度特征应用在分割，检测等任务中均表现出优异的结果，在人体姿态估计领域中对图片中不同尺度的人以及关节点的检测同样具有精度提升的显著效果。

在基于RGB图像的姿态估计工作中，Nie,Xuecheng,等人(Proceedings oftheIEEE International Conference on ComputerVision.2019.)在论文“Single-stagemulti-personpose machines.”中提出一种单阶段网络来进行姿态估计，该方法通过将人体关节点进行分层处理，将中心关节点设置为第一层级中。第二层关节点为躯干关节，包括脖子，肩膀和臀部。第三层关节点包括头，肘和膝盖，第四层关节点包括手腕和脚踝。通过这样的方式减轻了网络预测的压力，关键点依赖于他相邻的关节。但该方式对于上一层的关节点出现遮挡或者不可见时，则下一层的关节点就可能预测失败，且存在一个长距离偏移的问题，以上两个问题限制了人体姿态估计的精度。

深圳市唯特视科技有限公司在其申请的专利“一种基于级联金字塔网络的多人姿态估计方法”(专利公开号：CN108229445A)中公开了一种基于级联金字塔网络的多人姿态估计方法，包括用级联金字塔网络在每个人物的边界框中定位关键点，其中全局网络可以定位简单的关键点，提炼网络通过整合来自全局网络所有级别的特征表示来处理难的关键点。该方法利用了多尺度特征，但由于该网络较为复杂，且为多阶段方法，故而其效率相较于单阶段较为低下。

因此，如何提供一种基于特征金字塔网络的单阶段多人姿态估计方法，实现更加快速且高精度的单阶段多人姿态估计，成为一个亟待解决的问题。。

发明内容