[发明专利]针对遮挡情况的彩色图像手部姿态估计方法

权利要求书

1.针对遮挡情况的彩色图像手部姿态估计方法，其特征在于，包括以下步骤：

步骤1、使用参数化模型生成手部姿态，以得到用于训练的二维手部关键点位置；

步骤2、根据二维手部关键点位置生成每个关键点对应的热图，并随机选取部分关键点对应的热图置零；

步骤3、将包含置零热图的所有关键点热图输入关键点编码器中，得到卷积特征图；

步骤4、将关键点编码器输出的卷积特征图输入到关键点解码器中，以使用关键点对应的热图对关键点解码器输出进行监督，迭代更新关键点编码器与关键点解码器的神经网络参数；

步骤5、将数据集中的彩色图像输入图像编码器，并仅对可见关键点的位置进行标注；

步骤6、将彩色图像标注的可见关键点标注生成热图，将彩色图像中不可见关键点的热图置零，一并输入关键点编码器，输出得到对应的高维空间特征图；

步骤7、使用关键点编码器输出的高维空间特征图监督图像编码器的输出，在图像编码器的输出与关键点编码器的输出之间计算损失，迭代更新图像编码器的神经网络参数；

步骤8、将待测的彩色图像输入步骤7经监督后的图像编码器，输出得到待测的彩色图像的卷积特征图；

步骤9、将待测的彩色图像的卷积特征图输入到关键点解码器中，解码得到待测的彩色图像中手部关键点的热图；

步骤10、对待测的彩色图像中手部关键点的热图使用非极大值抑制NMS算法，得到手部关键点位置。

2.根据权利要求1所述针对遮挡情况的彩色图像手部姿态估计方法，其特征在于：所述步骤1中参数化模型使用MANO模型，通过在一定范围内随机对其形状参数与姿态参数赋值，从而随机生成手部姿态。

3.根据权利要求1所述针对遮挡情况的彩色图像手部姿态估计方法，其特征在于：所述步骤7中使用L2损失作为计算损失函数，通过链式法则计算出神经网络中训练参数对于损失的梯度，并根据梯度对神经网络参数进行更新。