[发明专利]一种手势交互方法和终端

权利要求书

1.一种手势交互方法，其特征在于，该手势交互方法包括：

在一次手势交互过程中，通过相机拍摄用户的手势，得到原始图像，所述原始图像包括RGB图像；

利用预先训练完成的深度神经网络对所述RGB图像进行手部检测与手势识别，得到第一手势识别结果；

基于多帧所述RGB图像中各帧所述RGB图像的所述第一手势识别结果进行手势分析确认，得到第二手势识别结果；

触发执行与所述第二手势识别结果对应的操作，完成手势交互。

2.如权利要求1所述的手势交互方法，其特征在于，所述原始图像还包括与所述RGB图像属于同一场景的深度图像；

根据所述相机标定后的内部参数和外部参数，得到所述RGB图像中手部各像素点对应的深度值并确定出所述相机与用户的手部之间的距离；

当所述相机与用户的手部之间的距离满足预设距离条件时，利用预先训练完成的深度神经网络对所述RGB图像进行手部检测与手势识别；

当所述相机与用户的手部之间的距离不满足预设距离条件时，控制输出提示信息，提醒用户调整手部与所述相机的距离；

其中，所述预设距离条件包括所述相机与用户的手部之间的距离等于预设距离阈值或所述相机与用户的手部之间的距离在预设距离范围内。

3.如权利要求1所述的手势交互方法，其特征在于，所述利用预先训练完成的深度神经网络对所述RGB图像进行手部检测与手势识别，得到第一手势识别结果包括：

利用预先训练完成的深度神经网络对所述RGB图像进行手部检测，得到第一帧所述RGB图像中的手部区域信息，根据第一帧所述RGB图像中的手部区域信息对手部进行跟踪，确定第二帧所述RGB图像中的手部区域信息；

基于所述手部区域信息，对各帧所述RGB图像进行手势识别，得到所述第一手势识别结果。

4.如权利要求1或2所述的手势交互方法，其特征在于，所述基于多帧所述RGB图像中各帧所述RGB图像的所述第一手势识别结果进行手势分析确认，得到第二手势识别结果包括：

当各帧所述RGB图像的第一手势识别结果指示用户的手势为动态手势时，将各第一手势识别结果存储到分析队列中，并按照先进先出方式实时更新所述分析队列，其中，所述第一手势识别结果包括手部特征信息，所述分析队列的长度为大于2的自然数；

根据所述分析队列中每相邻两帧所述RGB图像的所述手部特征信息，确定手部运动量；

基于各所述手部运动量，得到所述第二手势识别结果，并清空所述分析队列。

5.如权利要求1或2所述的手势交互方法，其特征在于，所述基于多帧所述RGB图像中各帧所述RGB图像的所述第一手势识别结果进行手势分析确认，得到第二手势识别结果包括：

当各帧所述RGB图像的第一手势识别结果指示用户的手势为静态手势时，将各第一手势识别结果存储到分析队列中，并按照先进先出方式实时更新所述分析队列，其中，所述分析队列的长度为大于2的自然数；

当连续第一阈值个所述第一手势识别结果相同和/或所述第一手势识别结果的数目与所述分析队列的长度的比值达到预设第二阈值时，将所述第一手势识别结果作为所述第二手势识别结果，并清空所述分析队列。

6.如权利要求5所述的手势交互方法，其特征在于，所述触发执行与所述第二手势识别结果对应的操作包括：

当所述第二手势识别结果满足预设触发条件时，触发执行与所述第二手势识别结果对应的操作，以使得一次手势交互过程中静态手势只触发一次操作；

其中，所述预设触发条件为第二手势识别结果指示的手势为静态手势且所述第二手势识别结果关联的触发次数为0。

7.一种终端，其特征在于，该终端包括：

相机，用于在一次手势交互过程中，通过相机拍摄用户的手势，得到原始图像，所述原始图像包括RGB图像；

处理器，用于利用预先训练完成的深度神经网络对所述RGB图像进行手部检测与手势识别，得到第一手势识别结果；基于多帧所述RGB图像中各帧所述RGB图像的所述第一手势识别结果进行手势分析确认，得到第二手势识别结果；触发执行与所述第二手势识别结果对应的操作，完成手势交互。