[发明专利]一种端到端多人姿态估计方法和装置

权利要求书

1.一种端到端的多人姿态估计方法，其特征在于，该方法包括：

将已获得的原始图像对应的降采样特征图输入至视觉特征编码器，以由所述视觉特征编码器对输入的降采样特征图进行多尺度信息融合得到多尺度融合特征；

将所述多尺度融合特征输入至姿态解码器，以由所述姿态解码器从所述多尺度融合特征中解码出姿态信息，所述姿态信息包括：至少一个候选姿态以及候选姿态对应的姿态置信度；

将所述姿态信息、以及所述多尺度融合特征输入至关节点解码器，以由所述关节点解码器针对每一姿态置信度满足条件的候选姿态，根据所述多尺度融合特征对该候选姿态中每个关节点位置信息进行微调并输出每一微调后的关节点位置信息；候选姿态中每一微调后的关节点位置信息组成了目标姿态。

2.根据权利要求1所述的方法，其特征在于，所述原始图像对应的降采样特征图通过以下步骤获得：将所述原始图像输入至主干网络，所述主干网络是通过将不同倍数的降采样处理层连接形成的；将所述主干网络中每一降采样处理层输出的降采样特征图确定为所述降采样特征图；

将已获得的原始图像对应的降采样特征图输入至视觉特征编码器包括：将所述降采样特征图拉平为一个特征向量序列，将该特征向量序列输入至视觉特征编码器。

3.根据权利要求1所述的方法，其特征在于，所述姿态解码器至少包括姿态自注意力层、姿态交叉注意力层和姿态信息计算层；

所述姿态自注意力层，基于自注意方法和预设的N个表示全身的姿态点位置的姿态队列挖掘出所述原始图像中不同姿态之间的关系，得到每一姿态与其他姿态融合后的融合结果；

所述姿态交叉注意力层，通过对各姿态对应的融合结果和多尺度融合特征做交叉注意力运算，得到N个姿态对应的姿态嵌入表示；

所述姿态信息计算层，通过所述N个姿态嵌入表示，推测出所述原始图像中整个全身的姿态信息，所述姿态信息包括：N个候选姿态以及候选姿态对应的姿态置信度。

4.根据权利要求1所述的方法，其特征在于，所述关节点解码器至少包括关节点自注意力层、关节点交叉注意力层和关节点坐标调整层；

所述关节点自注意力层，针对每一候选姿态，依据该候选姿态中每一关节点的位置信息，对各关节点之间的相关关系进行建模，得到该候选姿态对应的建模结果；

关节点交叉注意力层，通过对候选姿态对应的建模结果和所述多尺度融合特征进行交叉注意力计算，得到候选姿态中各关节点的融合特征；

关节点坐标调整层，用于基于各关节点的融合特征对各关节点的位置信息进行微调，输出微调后的关节点位置信息。

5.根据权利要求4所述的方法，其特征在于，所述候选姿态由至少一个关节点的特征信息组成；所述候选姿态中各关节点的融合特征通过以下方式得到：

针对该候选姿态中每一关节点的位置信息，将该关节点作为原点，按照交叉注意力方法，在多尺度融合特征中自适应选取位于所述原点位置附近的P个特征点作为代表性特征点；

将所述代表性特征点的特征进行聚合得到该关节点的融合特征。

6.一种端到端的多人姿态估计装置，其特征在于，该装置包括：

多尺度融合特征获取模块，用于将已获得的原始图像对应的降采样特征图输入至视觉特征编码器，以由所述视觉特征编码器对输入的降采样特征图进行多尺度信息融合得到多尺度融合特征；

姿态信息获取模块，用于将所述多尺度融合特征输入至姿态解码器，以由所述姿态解码器从所述多尺度融合特征中解码出姿态信息，所述姿态信息包括：至少一个候选姿态以及候选姿态对应的姿态置信度；

目标姿态获取模块，用于将所述姿态信息、以及所述多尺度融合特征输入至关节点解码器，以由所述关节点解码器针对每一姿态置信度满足条件的候选姿态，根据所述多尺度融合特征对该候选姿态中每个关节点位置信息进行微调并输出每一微调后的关节点位置信息；候选姿态中每一微调后的关节点位置信息组成了目标姿态。