[发明专利]基于掩码-RCNN进行稠密人体姿态估计的系统及方法

摘要

本发明涉及人体姿态估计技术，其公开了一种基于掩码‑RCNN进行稠密人体姿态估计的系统及方法，解决传统技术在实例分割时，存在的由于目标检测框包含多个目标而无法精准进行稠密人体姿态估计的问题。本发明中的系统包括：目标检测模块，用于获取精确的目标检测框；语义分割模块，用于对目标检测框的检测对象进行语义分割，获得语义分割掩码；实例分割模块，用于对语义分割掩码进行处理获得人体实例分割掩码；稠密姿态估计模块，用于建立RGB图像与3D人体表面模型的关系，并输出人体部件索引和3D模型上的UV坐标，从而将RGB图像上的纹理信息映射到3D人体表面模型上。本发明适用于各种场景下的稠密人体姿态估计。

主权项

1.基于掩码‑RCNN进行稠密人体姿态估计的系统，其特征在于，包括：目标检测模块，用于获取精确的目标检测框，其包括两个串行的均包括1024个通道的全连接层以及紧接的两个并行的分别包括2个通道的和8个通道的全连接层；语义分割模块，用于对目标检测框的检测对象进行语义分割，获得语义分割掩码，其包括用于产生一个特征图的4个连续的3*3卷积层以及用于对产生的特征图进行线性上采样的两个4*4反卷积层，在两个4*4反卷积层后还连接有用于调整上采样得到的热力图的通道数的维度分别为3*3和1*1的两个卷积层；实例分割模块，用于对语义分割掩码进行处理获得人体实例分割掩码，其包括4个连续的3*3卷积层以及紧接的上采样模块，所述上采样模块包括两个4*4反卷积层；稠密姿态估计模块，用于建立RGB图像与3D人体表面模型的关系，并输出3D人体部件索引和3D人体表面模型上的UV坐标，从而将RGB图像上的纹理信息映射到3D人体表面模型上；其包括8个串行的3*3卷积层以及3个并行的输出部件，所述3个并行的输出部件分别用于输出3D人体部件的索引，3D人体部件上的U坐标和V坐标。