[发明专利]手势识别方法、交互控制方法、装置、介质与电子设备

说明书

本公开提供了一种手势识别方法及装置、人机交互方法及装置、计算机可读存储介质与电子设备，属于人机交互技术领域。该手势识别方法应用于电子设备，该电子设备包括第一摄像头与第二摄像头，设于该电子设备的同一侧，该方法包括：通过第一摄像头采集第一手势图像，以及通过第二摄像头采集第二手势图像，其中，第一手势图像为深度图像，第二手势图像为平面图像；当检测第一手势图像未达到预设质量标准时，对第二手势图像进行处理，以识别第二手势图像中的手势；当检测第一手势图像达到预设质量标准时，对第一手势图像进行处理，以识别第一手势图像中的手势。本公开可以在现有的硬件条件下，实现鲁棒性较高的手势识别算法，提高手势识别的准确性。

技术领域

本公开涉及人机交互技术领域，尤其涉及一种手势识别方法、交互控制方法、手势识别装置、交互控制装置、计算机可读存储介质与电子设备。

背景技术

基于手势的人机交互是指在不接触设备的情况下，利用计算机视觉、图形学等技术来识别人的操作手势，并转化为对设备的控制指令。手势交互是继鼠标、键盘和触控屏之后新的交互方式，其能够摆脱传统交互方式对于输入设备的依赖，在虚拟现实、增强现实等领域已经有了广泛的应用。

在智能手机、平板电脑等移动终端上，手势交互也有了一定的发展，目前已经出现了配置TOF(Time of Flight，飞行时间)相机的手机，其通过拍摄深度图像，识别其中的手势，以进行交互控制。然而，现有手机上TOF相机的能力有限，无法准确检测距离相机过近或者过远的物体的深度信息，且对于黑色材质或高反光材质的物体、光照变化较大的场景等处理能力较差，导致手势识别的算法鲁棒性较低，影响正常的交互。

因此，如何在现有的硬件条件下，提高手势识别的准确性，实现鲁棒性较高的算法，保证交互的正常进行，是现有技术亟待解决的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供了一种手势识别方法、交互控制方法、手势识别装置、交互控制装置、计算机可读存储介质与电子设备，进而至少在一定程度上克服现有技术无法准确识别手势的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种手势识别方法，应用于电子设备，所述电子设备包括第一摄像头与第二摄像头，所述第一摄像头与所述第二摄像头设于所述电子设备的同一侧，所述方法包括：通过所述第一摄像头采集第一手势图像，以及通过所述第二摄像头采集第二手势图像，其中，所述第一手势图像为深度图像，所述第二手势图像为平面图像；当检测所述第一手势图像未达到预设质量标准时，对所述第二手势图像进行处理，以识别所述第二手势图像中的手势；当检测所述第一手势图像达到所述预设质量标准时，对所述第一手势图像进行处理，以识别所述第一手势图像中的手势。

在本公开的一种示例性实施例中，所述第一手势图像是否达到预设质量标准通过以下方法检测：检测所述第一手势图像中各像素点的深度值是否无效；统计深度值无效的像素点占所述第一手势图像的比例；判断所述比例是否小于预设比例阈值，若小于，则所述第一手势图像达到预设质量标准。

在本公开的一种示例性实施例中，所述第一手势图像是否达到预设质量标准通过以下方法检测：将所述第一手势图像转换为平面图像，并检测所述第一手势图像与所述第二手势图像的相似度是否达到预设相似度阈值，若达到，则所述第一手势图像达到预设质量标准。

在本公开的一种示例性实施例中，所述对所述第一手势图像进行处理，以识别所述第一手势图像中的手势之前，所述方法还包括：对所述第一手势图像与所述第二手势图像进行配准；利用配准后的所述第二手势图像对配准后的所述第一手势图像进行优化处理，其中，所述优化处理包括以下任意一种或多种：边缘滤波、补洞与畸变校正。