[发明专利]一种有效手势的识别方法、控制方法、装置和电子设备

说明书

本发明提供了一种有效手势的识别方法、控制方法、装置和电子设备，其中，识别方法包括S11、获取摄像头采集的当前帧图像；S12、按照预设的识别算法，对当前帧图像进行手势检测与识别，得到当前帧图像中手势的可能区域，手势类别及其置信度；S13、对所述当前帧之后的一固定时间间隔内视频的所有图像帧依次进行手势检测和识别，得到图像中手势的可能区域、手势类别及其置信度；S14、判断所述固定时间间隔内的所述图像帧中存在相同手势的图像帧的占比是否大于预设的占比阈值，如果是，则认为该手势为有效手势。本发明能够在嵌入式终端有效快速的进行手势检测和识别，进行方便快捷的人机交互。

技术领域

本发明涉及一种基于人工智能深度学习技术的计算机视觉的实时手势检测判断方法、装置及电子设备。

背景技术

随着计算机技术的快速发展，深度学习在计算机视觉领域的应用越来越多。其中，使用手势进行人机交互是一种十分便捷的方法，具有非常大的应用价值。通过手势识别和控制技术可以提供一种远程的非接触式的人机交互方式，因此快速和准确的手势识别算法能够为用户带来便捷友好的体验。而目前深度神经网络在嵌入式设备上进行应用的难点在于网络庞大且复杂，嵌入式设备算力不足，存在算法运行速度慢，系统运行不流畅，响应时间长等局限性，为用户带来不好的使用体验。为解决以上问题，本发明主要提出了一种基于神经网络的实时手势识别和控制的方法、装置和电子设备。

发明内容

本发明要解决的技术问题，在于提供一种有效手势的识别方法、控制方法、识别装置和识别的电子设备，能够在嵌入式终端有效快速的进行手势检测和识别，进行方便快捷的人机交互。

根据本发明的第一方面，提供了一种有效手势的识别方法，包括下述步骤：

S11、获取摄像头采集的当前帧图像；

S12、按照预设的识别算法，对当前帧图像进行手势检测与识别，得到当前帧图像中手势的可能区域、手势类别及识别结果的置信度，并根据该置信度的大小来判断是否接受该识别结果；

S13、对所述当前帧之后的一固定时间间隔内视频的所有图像帧依次进行手势检测和识别，得到图像中手势的可能区域、手势类别及识别结果的置信度，并根据该置信度的大小来判断是否接受该识别结果；

S14、判断所述固定时间间隔内的所述图像帧中存在相同的手势类别的图像帧的占比是否大于预设的占比阈值，若是，则认为该手势为有效手势，若为否，则以步骤S13所述当前帧的下一帧作为当前帧，回到步骤S13。

可选的，所述步骤S11中还对获取到的当前帧图像进行预处理：先对当前帧图像进行归一化处理，并根据上一帧图像手势检测和识别结果，判断上一帧图像是否检测到手势。

可选的，所述步骤S12和所述步骤S13中的检测与识别具体为：

根据上一帧图像中的手势检测结果，选择第一神经网络模型或第二神经网络模型，第一神经网络模型为预训练好的卷积网络单次检测模型，用于直接在全图上预测手势的可能区域和类别，第二神经网络模型为预训练好的卷积网络单次检测模型，根据上一帧检测结果对手势进行跟踪；

若为首帧图像或上一帧图像中未检测到手势，则将当前帧图像输入到第一神经网络模型进行手势检测和识别，并由所述第一神经网络模型输出当前帧图像中手势的可能区域的坐标、手势的可能类别和识别结果的置信度，若置信度大于等于预设的置信度阈值，则接受第一神经网络模型预测的检测和识别结果，若置信度小于预设的置信度阈值，则忽略；

若上一帧图像中检测到了手势，则将上一帧图像中手势的位置映射到到当前帧图像中，将当前帧图像上的映射区域按预设倍数向外进行扩展，将扩展后的映射区域输入到第二神经网络模型进行手势检测和识别，由所述第二神经网络模型输出当前图像中手势的可能区域的坐标、手势的可能类别和结果的置信度，若置信度大于预设的置信度阈值，则接受第二神经网络模型的预测结果，若置信度小于预设的置信度阈值，则忽略。