[发明专利]手势交互方法及装置、电子设备和存储介质

权利要求书

1.一种手势交互方法，其特征在于，包括：

获取包含手势的深度图像；

根据所述深度图像进行手势识别，得到手势识别结果，所述手势识别结果包括识别出的目标手势和所述目标手势的朝向信息；

根据所述朝向信息，确定所述目标手势在三维空间中指向的目标交互对象；

其中，所述根据所述朝向信息，确定所述目标手势在三维空间中指向的目标交互对象，包括：

根据所述三维空间中至少一个待交互对象的空间信息，确定处于所述朝向信息所在方向上的待交互对象，作为所述目标交互对象。

2.根据权利要求1所述的方法，其特征在于，所述根据所述深度图像进行手势识别，得到手势识别结果，所述手势识别结果包括识别出的目标手势和所述目标手势的朝向信息，包括：

根据所述深度图像进行手关键点定位，得到手部关键点的信息；

对所述深度图像进行手势分类，得到所述目标手势；

确定所述目标手势对应的目标手部关键点；

根据所述目标手部关键点的信息，对所述目标手势进行朝向检测，得到所述目标手势的朝向信息。

3.根据权利要求2所述的方法，其特征在于，所述目标手势包括部分手指为伸展状态的手指手势和/或所有手指均为伸展状态的手掌手势；

所述确定所述目标手势对应的目标手部关键点，包括：

在所述目标手势包括所述手指手势的情况下，所述对应的目标手部关键点包括：伸展状态的至少一个手指的关键点；和/或，

在所述目标手势包括所述手掌手势的情况下，所述对应的目标手部关键点包括：各手指与手掌连接位置处的关键点。

4.根据权利要求3所述的方法，其特征在于，所述目标手部关键点还包括：手腕关键点。

5.根据权利要求3或4所述的方法，其特征在于，所述手部关键点的信息包括手部关键点的三维位置；

所述根据所述目标手部关键点的信息，对所述目标手势进行朝向检测，包括：

在所述目标手势包括所述手指手势的情况下，根据所述手指手势中至少一个伸展状态的目标手指的至少两个目标手部关键点的三维位置，确定所述目标手指的朝向信息，作为所述目标手势的朝向信息。

6.根据权利要求3或4所述的方法，其特征在于，所述手部关键点的信息包括手部关键点的三维位置；

所述根据所述目标手部关键点的信息，对所述目标手势进行朝向检测，包括：

在所述目标手势包括手掌手势的情况下，根据所述手掌手势中至少三个目标手部关键点的三维位置，确定所述手掌手势中手掌所在平面的朝向信息，作为所述目标手势的朝向信息。

7.根据权利要求1所述的方法，其特征在于，所述根据所述深度图像进行手势识别，得到手势识别结果，包括：

将所述深度图像输入第一神经网络，得到所述第一神经网络输出的手部关键点的信息和所述目标手势；

确定所述目标手势对应的目标手部关键点；

根据所述目标手部关键点的信息，对所述目标手势进行朝向检测，得到所述目标手势的朝向信息。

8.根据权利要求1所述的方法，其特征在于，在所述根据所述深度图像进行手势识别，得到手势识别结果之前，所述方法还包括：

将所述深度图像输入第二神经网络，确定所述手势在所述深度图像中的位置信息；

根据所述位置信息，对所述深度图像进行裁剪，得到裁剪后的深度图像；

所述根据所述深度图像进行手势识别，得到手势识别结果，包括：

根据所述裁剪后的深度图像进行手势识别，得到所述手势识别结果。