[发明专利]手势识别方法、交互控制方法、装置、介质与电子设备

权利要求书

1.一种手势识别方法，应用于电子设备，其特征在于，所述电子设备包括第一摄像头与第二摄像头，所述第一摄像头与所述第二摄像头设于所述电子设备的同一侧，所述方法包括：

通过所述第一摄像头采集第一手势图像，以及通过所述第二摄像头采集第二手势图像，其中，所述第一手势图像为深度图像，所述第二手势图像为平面图像；

检测所述第一手势图像的平面图像与所述第二手势图像的相似度是否达到预设相似度阈值，若达到，则所述第一手势图像达到预设质量标准；所述第一手势图像的平面图像通过将所述第一手势图像转换为平面图像而得到；

当所述第一手势图像未达到所述预设质量标准时，对所述第二手势图像进行处理，以识别所述第二手势图像中的手势；

当所述第一手势图像达到所述预设质量标准时，对所述第一手势图像进行处理，以识别所述第一手势图像中的手势。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一手势图像转换为平面图像，并检测所述第一手势图像与所述第二手势图像的相似度是否达到预设相似度阈值，若达到，则所述第一手势图像达到预设质量标准，包括：

检测所述第一手势图像的平面图像与所述第二手势图像的相似度是否达到预设相似度阈值；所述第一手势图像的平面图像通过将所述第一手势图像转换为平面图像而得到；

检测所述第一手势图像中各像素点的深度值是否无效；

统计深度值无效的像素点占所述第一手势图像的比例；

若所述第一手势图像与所述第二手势图像的相似度达到所述预设相似度阈值、且所述比例小于预设比例阈值，则所述第一手势图像达到所述预设质量标准。

3.根据权利要求1所述的方法，其特征在于，所述第一手势图像的平面图像与所述第二手势图像的相似度，通过以下方法检测：

检测所述第一手势图像的平面图像与所述第二手势图像的重合度以作为所述相似度；或者通过图像识别模型检测所述第一手势图像的平面图像中的手部与所述第二手势图像中的手部为相同手部的概率，以作为所述相似度。

4.根据权利要求1所述的方法，其特征在于，所述对所述第一手势图像进行处理，以识别所述第一手势图像中的手势之前，所述方法还包括：

对所述第一手势图像与所述第二手势图像进行配准；

利用配准后的所述第二手势图像对配准后的所述第一手势图像进行优化处理，其中，所述优化处理包括以下任意一种或多种：边缘滤波、补洞与畸变校正。

5.根据权利要求1所述的方法，其特征在于，所述第一摄像头为基于红外光的飞行时间摄像头，所述第一手势图像为飞行时间图像；所述方法还包括：

通过所述第一摄像头采集红外图像；

利用所述红外图像对所述飞行时间图像进行预处理，其中，所述预处理包括以下任意一种或多种：截图、去除噪声与基于深度值置信度的像素点过滤。

6.根据权利要求1所述的方法，其特征在于，所述第一手势图像中的手势包括手部骨骼点的信息和/或手部姿态的信息；

所述对所述第一手势图像进行处理，以识别所述第一手势图像中的手势，包括：

利用预先训练的第一神经网络模型识别所述第一手势图像，以得到所述手部骨骼点的信息；及/或

利用预先训练的第二神经网络模型识别所述第一手势图像，以得到所述手部姿态的信息。

7.根据权利要求6所述的方法，其特征在于，在利用所述第一神经网络模型或所述第二神经网络模型识别所述第一手势图像之前，所述方法还包括：

对所述第一手势图像进行背景减除，得到仅包含手部前景图像的第一手势图像。

8.一种交互控制方法，应用于电子设备，其特征在于，所述电子设备包括第一摄像头与第二摄像头，所述第一摄像头与所述第二摄像头设于所述电子设备的同一侧，所述方法包括：

通过权利要求1～7任一项所述的手势识别方法识别手势；

根据所述手势执行控制指令。