[发明专利]一种手势交互方法和终端

说明书

本申请公开了一种手势交互方法和终端，手势交互方法包括：在一次手势交互过程中，通过相机拍摄用户的手势，得到原始图像，所述原始图像包括RGB图像；利用预先训练完成的深度神经网络对所述RGB图像进行手部检测与手势识别，得到第一手势识别结果；基于多帧所述RGB图像中各帧所述RGB图像的所述第一手势识别结果进行手势分析确认，得到第二手势识别结果；触发执行与所述第二手势识别结果对应的操作，完成手势交互。本申请实施例采用深度神经网络对手势进行检测与识别，降低了误检与漏检的概率，提高了手势识别和手势交互的精度和鲁棒性，改善了用户体验。

技术领域

本申请涉及人机交互技术领域，具体涉及一种手势交互方法和终端。

背景技术

随着技术的发展，手势交互在移动终端操作、门禁系统、远程控制等人机交互领域得到了广泛应用。手势交互的关键是手势识别，目前，手势识别多基于传统图像处理方法区分手部与背景，这类方案易受环境(例如，光照、阴影以及与手部肤色接近的背景)的影响，手势的误检和漏检情况严重，算法鲁棒性较低，手势交互的准确性有待提高。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种手势交互方法和终端。

依据本申请的一个方面，提供了一种手势交互方法，包括：

在一次手势交互过程中，通过相机拍摄用户的手势，得到原始图像，所述原始图像包括RGB图像；

利用预先训练完成的深度神经网络对所述RGB图像进行手部检测与手势识别，得到第一手势识别结果；

基于多帧所述RGB图像中各帧所述RGB图像的所述第一手势识别结果进行手势分析确认，得到第二手势识别结果；

触发执行与所述第二手势识别结果对应的操作，完成手势交互。

依据本申请的又一方面，提供了一种终端，包括：

相机，用于在一次手势交互过程中，通过相机拍摄用户的手势，得到原始图像，所述原始图像包括RGB图像；

处理器，用于利用预先训练完成的深度神经网络对所述RGB图像进行手部检测与手势识别，得到第一手势识别结果；基于多帧所述RGB图像中各帧所述RGB图像的所述第一手势识别结果进行手势分析确认，得到第二手势识别结果；触发执行与所述第二手势识别结果对应的操作，完成手势交互。

本申请实施例的技术方案，在一次手势交互过程中，通过相机拍摄用户的手势得到原始图像，原始图像包括RGB图像，利用预先训练完成的深度神经网络对RGB图像进行手部检测与手势识别，得到第一手势识别结果，基于多帧RGB图像中各帧RGB图像的第一手势识别结果进行手势分析确认，得到第二手势识别结果，触发执行与第二手势识别结果对应的操作，完成手势交互。由上述可知，本申请实施例，采用深度神经网络对手势进行检测与识别，降低了误检与漏检的概率，并且基于多帧图像的手势识别结果确定一次手势交互过程的最终手势识别结果，提高了手势识别和手势交互的精度和鲁棒性，改善了用户体验。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的手势交互方法的流程示意图；

图2示出了根据本申请另一个实施例的手势交互方法的流程图；