[发明专利]一种人手识别方法、装置、电子设备和存储介质

权利要求书

1.一种人手识别方法，其特征在于，包括：

将包含人手的待检测图像输入至预先训练的人手识别网络模型，所述人手识别网络模型包括特征提取器、多任务分支网络层、回归层、MANO网络；

通过所述特征提取器对所述待检测图像进行特征提取，得到所述待检测图像的图像特征；

通过所述多任务分支网络层对所述图像特征进行处理，得到表示所述待检测图像中人手边缘的第一边缘特征图、表示所述待检测图像中人手区域的第一区域特征图，以及表示所述待检测图像中二维人手关键点的第一关键点特征图；

通过所述回归层对所述第一边缘特征图、所述第一区域特征图与所述第一关键点特征图的相加结果进行回归，得到表示所述待检测图像中人手姿态的第一姿态参数和表示所述待检测图像中人手形状的第一形状参数；

基于所述第一姿态参数和所述第一形状参数，通过所述MANO网络生成所述待检测图像中人手的三维模型；

所述多任务分支网络层包括编码器、边缘解码器、区域解码器和热图解码器；

所述通过所述多任务分支网络层对所述图像特征进行处理，得到表示所述待检测图像中人手边缘的第一边缘特征图、表示所述待检测图像中人手区域的第一区域特征图，以及表示所述待检测图像中二维人手关键点的第一关键点特征图，包括：

通过所述编码器对所述图像特征进行编码，得到所述待检测图像的高层图像语义信息；

通过所述边缘解码器，对所述高层图像语义信息进行解码，得到表示所述待检测图像中人手边缘的第一边缘特征图；通过所述区域解码器，对所述高层图像语义信息进行解码，得到表示所述待检测图像中人手区域的第一区域特征图；通过所述热图解码器，对所述高层图像语义信息进行解码，得到表示所述待检测图像中二维人手关键点的第一关键点特征图。

2.根据权利要求1所述的人手识别方法，其特征在于，所述人手识别网络模型还包括微分渲染层；

在所述通过所述多任务分支网络层对所述图像特征进行处理，得到表示所述待检测图像中人手边缘的第一边缘特征图、表示所述待检测图像中人手区域的第一区域特征图，以及表示所述待检测图像中二维人手关键点的第一关键点特征图之后，所述方法还包括：

通过所述回归层对所述第一边缘特征图、所述第一区域特征图与所述第一关键点特征图的相加结果进行回归，得到第一相机参数；

基于所述第一相机参数，通过所述微分渲染层对所述待检测图像中人手的三维模型进行投影，得到第一人手投影信息，其中，所述第一人手投影信息包括以下至少之一：所述待检测图像投影的人手区域、所述待检测图像投影的二维人手关键点、所述待检测图像投影的三维人手关键点。

3.根据权利要求1所述的人手识别方法，其特征在于，所述人手识别网络模型还包括微分渲染层；

所述人手识别网络模型的训练步骤包括：

将包含人手的样本图像输入至初始的人手识别网络模型，得到表示所述样本图像中人手边缘的第二边缘特征图、表示所述样本图像中人手区域的第二区域特征图和表示所述样本图像中二维人手关键点的第二关键点特征图；其中，所述样本图像具有标注的人手区域、二维人手关键点和三维人手关键点；

通过所述回归层对所述第二边缘特征图、所述第二区域特征图与所述第二关键点特征图的相加结果进行回归，得到第二相机参数、表示所述样本图像中人手姿态的第二姿态参数和表示所述样本图像中人手形状的第二形状参数；

基于所述第二姿态参数和所述第二形状参数，通过所述MANO网络生成所述样本图像中人手的三维模型，作为样本三维模型；

基于所述第二相机参数，通过所述微分渲染层对所述样本三维模型进行投影，得到第二人手投影信息，其中，所述第二人手投影信息包括以下至少之一：所述样本图像投影的人手区域、所述样本图像投影的二维人手关键点、所述样本图像投影的三维人手关键点；

根据所述第二人手投影信息与标注的所述样本图像对应的人手信息之间的差异，对所述人手识别网络模型的模型参数进行训练；

当所述人手识别网络模型收敛时，得到训练好的人手识别网络模型。