[发明专利]基于掩码-RCNN进行稠密人体姿态估计的系统及方法

说明书

本发明涉及人体姿态估计技术，其公开了一种基于掩码‑RCNN进行稠密人体姿态估计的系统及方法，解决传统技术在实例分割时，存在的由于目标检测框包含多个目标而无法精准进行稠密人体姿态估计的问题。本发明中的系统包括：目标检测模块，用于获取精确的目标检测框；语义分割模块，用于对目标检测框的检测对象进行语义分割，获得语义分割掩码；实例分割模块，用于对语义分割掩码进行处理获得人体实例分割掩码；稠密姿态估计模块，用于建立RGB图像与3D人体表面模型的关系，并输出人体部件索引和3D模型上的UV坐标，从而将RGB图像上的纹理信息映射到3D人体表面模型上。本发明适用于各种场景下的稠密人体姿态估计。

技术领域

本发明涉及人体姿态估计技术，具体涉及一种基于掩码-RCNN进行稠密人体姿态估计的系统及方法。

背景技术

在对图片中的人体个体级别分析方面，较早的方法如Vitruvian-Manifold[1]通过深度图的方式对人体进行姿态估计，而目前最新的方法则采用掩码-RCNN[2]作为基本框架，将其生成的目标检测框作为输入进行进一步分割以及稠密像素点估计，如DensePose[3]。

然而在自然环境下，对于实例分割来说，目标检测框并不能完全准确地检测有且仅有一个目标，因为自然环境下的图片包含各种复杂情况，这使得目标检测框总是会包含多个目标，其中这些目标有的很小，有的重叠在一起，有的背景十分复杂，有的大小比例各不相同。

因此，传统技术存在着目标检测框包含多个目标无法精准进行稠密人体姿态估计的问题。

参考文献：

[1]Taylor J,Shotton J,Sharp T,et al.The Vitruvian Manifold:InferringDense Correspondences for One-Shot Human Pose Estimation[C]//IEEE ComputerVision and Pattern Recognition.IEEE,2012.

[2]He K,Gkioxari G,Dollar P,et al.Mask R-CNN.[J].IEEE Transactions onPattern AnalysisMachine Intelligence,2017,PP(99):1-1.

[3]Güler R A,Neverova N,Kokkinos I.DensePose:Dense Human PoseEstimation In The Wild[J].2018.

[4]Lin T Y,Dollár,Piotr,Girshick R,et al.Feature Pyramid Networks forObject Detection[J].2016.

[5]Ren S,He K,Girshick R,et al.Faster R-CNN:towards real-time objectdetection with region proposal networks[J].2015.

[6]Newell A,Yang K,Jia D.Stacked Hourglass Networks for Human PoseEstimation[J].2016.

[7]Güler,R1za Alp,Trigeorgis G,Antonakos E,et al.DenseReg:FullyConvolutional Dense Shape Regression In-the-Wild[J].2016.

发明内容

本发明所要解决的技术问题是：提供一种基于掩码-RCNN进行稠密人体姿态估计的系统及方法，解决传统技术在实例分割时，存在的由于目标检测框包含多个目标而无法精准进行稠密人体姿态估计的问题。

本发明解决上述技术问题所采用的技术方案是：