[发明专利]手势语义识别方法、电子设备、存储介质及程序产品

权利要求书

1.一种手势语义识别方法，其特征在于，所述方法包括：

对待识别图像帧序列中的图像帧进行手部位置检测，得到目标图像帧；其中，所述目标图像帧为包含有抬手动作的图像帧；

通过语义识别神经网络对所述目标图像帧进行手势语义识别，得到手势语义识别结果。

2.根据权利要求1所述的方法，其特征在于，对待识别图像帧序列中的图像帧进行手部位置检测，得到目标图像帧的步骤，包括：

对待识别图像帧序列中的图像帧分别进行以下操作：

获取所述图像帧中目标对象的手部关联点的位置信息；其中，所述手部关联点包括手掌关键点和与该手掌关键点对应的手肘关键点；

根据所述手部关联点的位置信息判断所述目标对象是否进行抬手动作；

如果是，确定所述图像帧为目标图像帧。

3.根据权利要求2所述的方法，其特征在于，根据所述手部关联点的位置信息判断所述目标对象是否进行抬手动作的步骤，包括：

将所述手掌关键点的位置减去与该手掌关键点对应的手肘关键点的位置，得到手部位置差；

如果所述手部位置差大于零，确定所述目标对象进行抬手动作。

4.根据权利要求3所述的方法，其特征在于，所述手掌关键点包括左侧手掌关键点和右侧手掌关键点，所述手肘关键点包括左侧手肘关键点和右侧手肘关键点；

将所述手掌关键点的位置减去与该手掌关键点对应的手肘关键点的位置，得到手部位置差的步骤，包括：

将所述右侧手掌关键点的位置减去所述右侧手肘关键点的位置，得到右手位置差；

将所述左侧手掌关键点的位置减去所述左侧手肘关键点的位置，得到左手位置差；

如果所述手部位置差大于零，确定所述目标对象进行抬手动作的步骤，包括：

如果所述右手位置差或者所述左手位置差大于零，确定所述目标对象进行抬手动作。

5.根据权利要求2-4任一所述的方法，其特征在于，根据所述手部关联点的位置信息判断所述目标对象是否进行抬手动作的步骤，包括：

获取所述图像帧中所述目标对象的脸部位置信息；

根据所述手部关联点的位置信息和所述脸部位置信息判断所述目标对象是否进行抬手动作。

6.根据权利要求5所述的方法，其特征在于，所述手部关联点的位置信息还包括手部位置框，所述脸部位置信息是脸部位置框；

根据所述手部关联点的位置信息和所述脸部位置信息判断所述目标对象是否进行抬手动作的步骤，包括：

将所述脸部位置框的下边框的位置减去所述手部位置框的上边框的位置，得到脸部位置差；

将所述手掌关键点的位置减去与该手掌关键点对应的手肘关键点的位置，得到手部位置差；

根据所述手部位置差和所述脸部位置差判断所述目标对象是否进行抬手动作。

7.根据权利要求6所述的方法，其特征在于，根据所述手部位置差和所述脸部位置差判断所述目标对象是否进行抬手动作的步骤，包括：

如果所述脸部位置差小于所述脸部位置差阈值，和/或，如果所述手部位置差大于零，确定所述目标对象进行抬手动作。

8.根据权利要求1-7任一项所述的方法，其特征在于，通过语义识别神经网络对所述目标图像帧进行手势语义识别，得到手势语义识别结果的步骤，包括：

从所述目标图像帧确定包含所述目标对象手部的手部子图像；

将所述手部子图像按照时序输入所述语义识别神经网络，得到所述手势语义识别结果。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至8任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至8任一项所述的方法。

11.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法。