[发明专利]手势语义识别方法、电子设备、存储介质及程序产品

说明书

本发明提供了一种手势语义识别方法、电子设备、存储介质及程序产品，该方法包括：对待识别图像帧序列中的图像帧进行手部位置检测，得到目标图像帧；其中，目标图像帧为包含有抬手动作的图像帧；通过语义识别神经网络对目标图像帧进行手势语义识别，得到手势语义识别结果。本发明实施例提供的手势语义识别方法，在神经网络对手势进行判断之前，通过过滤策略过滤掉错误手势，将过滤后的真正抬手动作时做出的手势输入语义识别神经网络，使语义识别神经网络仅对有效的目标图像进行识别，减少了手势语义识别的时间，同时可以减少误识别的发生，从而有效提高了手势语义识别结果的准确性。

技术领域

本发明涉及图像识别技术领域，尤其是涉及一种手势语义识别方法、电子设备、存储介质及程序产品。

背景技术

随着人工智能的不断发展，人工智能技术与电子产品的结合变得更加广泛，已经出现了例如智能电视机、体感游戏机、智能平板电脑等智能控制设备。现有的智能控制设备通过视频装置采集图像，并根据图像中的手势信息进行控制，在控制过程中，如何准确识别用户手势，减少误识别的发生，是重要的研究内容。

现有技术中，比较普遍的手势识别方式是使用训练完毕的神经网络模型来直接预测用户的手势，并且根据不同的手势预测该手势表征的目的，从而根据不同的目的进行智能控制设备的控制。但是在实际的应用场景中，有些状态是用户在没有发出控制手势的时候做出的其他动作，还有些状态下的手势可能与目标语义比较接近，这容易引发神经网络的误判，例如用户手部处于抬起和落下的过程中，或者手持物体而引发的举手状态，都可能被误判成举手状态，导致神经网络的手势判断结果不准确，进而导致智能控制设备执行错误指令。

发明内容

有鉴于此，本发明的目的在于提供一种手势语义识别方法、电子设备、存储介质及程序产品，以减少手势语义识别的时间，并减少误识别的发生，提升手势语义识别结果的准确性。

第一方面，本发明实施例提供一种手势语义识别方法，该方法包括：对待识别图像帧序列中的图像帧进行手部位置检测，得到目标图像帧；其中，目标图像帧为包含有抬手动作的图像帧；通过语义识别神经网络对目标图像帧进行手势语义识别，得到手势语义识别结果。

进一步地，上述对待识别图像帧序列中的图像帧进行手部位置检测，得到目标图像帧的步骤，包括：对待识别图像帧序列中的图像帧分别进行以下操作：获取图像帧中目标对象的手部关联点的位置信息；其中，手部关联点包括手掌关键点和与该手掌关键点对应的手肘关键点；根据手部关联点的位置信息判断目标对象是否进行抬手动作；如果是，确定图像帧为目标图像帧。

进一步地，上述根据手部关联点的位置信息判断目标对象是否进行抬手动作的步骤，包括：将手掌关键点的位置减去与该手掌关键点对应的手肘关键点的位置，得到手部位置差；如果手部位置差大于零，确定目标对象进行抬手动作。

进一步地，上述手掌关键点包括左侧手掌关键点和右侧手掌关键点，手肘关键点包括左侧手肘关键点和右侧手肘关键点；上述将手掌关键点的位置减去与该手掌关键点对应的手肘关键点的位置，得到手部位置差的步骤，包括：将右侧手掌关键点的位置减去右侧手肘关键点的位置，得到右手位置差；将左侧手掌关键点的位置减去左侧手肘关键点的位置，得到左手位置差；如果手部位置差大于零，确定目标对象进行抬手动作的步骤，包括：如果右手位置差或者左手位置差大于零，确定目标对象进行抬手动作。

进一步地，上述根据手部关联点的位置信息判断目标对象是否进行抬手动作的步骤，包括：获取图像帧中目标对象的脸部位置信息；根据手部关联点的位置信息和脸部位置信息判断目标对象是否进行抬手动作。

进一步地，上述手部关联点的位置信息还包括手部位置框，上述脸部位置信息是脸部位置框；根据手部关联点的位置信息和脸部位置信息判断目标对象是否进行抬手动作的步骤，包括：将脸部位置框的下边框的位置减去手部位置框的上边框的位置，得到脸部位置差；将手掌关键点的位置减去与该手掌关键点对应的手肘关键点的位置，得到手部位置差；根据手部位置差和脸部位置差判断目标对象是否进行抬手动作。