[发明专利]一种虚拟触控识别方法、设备及存储介质

说明书

本申请实施例提供一种虚拟触控识别方法、设备及存储介质。在该方法中，可在用户与智能设备展示的虚拟界面进行触控交互时，获取智能设备在交互时刻拍摄用户手部得到的深度图像；基于深度图像，识别用户的第一手部关键点以及第一手部关键点的位置信息。获取用户的第二手部关键点以及第二手部关键点的位置信息；第二手部关键点以及第二手部关键点的位置信息，根据另一智能设备在交互时刻拍摄用户手部得到的深度图像确定。根据第一手部关键点的位置信息以及第二手部关键点的位置信息，确定用户的虚拟触控位置。通过这种方式，智能设备可在手部关键点被遮挡的情况下，结合其他智能设备在各自视角下获取的位置信息，较为准确地确定用户的虚拟触控位置。

技术领域

本申请涉及智能可穿戴技术领域，尤其涉及一种虚拟触控识别方法、设备及存储介质。

背景技术

随着虚拟现实、增强现实和混合现实等相关技术的高速发展，头戴式智能设备不断推陈出新且使用体验逐渐提高，如头戴式虚拟现实眼镜、头戴式混合现实眼镜等智能眼镜。

在现有技术中，可利用智能眼镜在虚拟场景中生成虚拟界面，并基于虚拟触控的方式与虚拟界面进行交互。在一种虚拟触控的识别方法中，可基于图像采集传感器确定真实场景中用户的手部关键点位置，以根据手部关键点位置判断真实场景中的用户是否与虚拟场景中的虚拟界面进行了交互。

但是，用户与虚拟界面进行交互时，其手部的关键点可能会被其他物体或者手部其他部位遮挡，导致图像采集传感器无法对这些被遮挡的关键点进行图像采集，从而导致智能眼镜无法较为准确地确定用户的虚拟触控位置。因此，一种解决方案亟待被提出。

发明内容

本申请的多个方面提供一种虚拟触控识别方法、设备及存储介质，用以较为准确地确定用户的虚拟触控位置。

本申请提供一种虚拟触控识别方法，包括：在用户与第一智能设备展示的虚拟界面进行触控交互时，获取所述第一智能设备在任一交互时刻拍摄所述用户的手部得到的第一深度图像；基于所述第一深度图像，识别所述用户的第一手部关键点以及所述第一手部关键点的第一位置信息；获取所述用户的第二手部关键点以及所述第二手部关键点的第二位置信息；所述第二手部关键点以及所述第二手部关键点的第二位置信息，根据第二智能设备在所述交互时刻拍摄所述用户的手部得到的第二深度图像确定；根据所述第一手部关键点的第一位置信息以及所述第二手部关键点的第二位置信息，确定所述用户的虚拟触控位置。

可选地，基于所述第一深度图像，识别所述用户的第一手部关键点以及所述第一手部关键点的第一位置信息，包括：利用计算机视觉算法，从所述第一深度图像中识别所述用户的第一手部关键点；利用双目定位算法，确定所述第一手部关键点在第一设备坐标系中的坐标以及坐标可信度，作为所述第一位置信息；所述第一设备坐标系为所述第一智能设备所在的坐标系。

可选地，所述第二手部关键点的第二位置信息包括：所述第二手部关键点在第二设备坐标系中的坐标以及坐标可信度；所述第二设备坐标系为所述第二智能设备所在的坐标系。

可选地，根据所述第一手部关键点的第一位置信息以及所述第二手部关键点的第二位置信息，确定所述用户的虚拟触控位置之前，还包括：根据所述第一设备坐标系和所述第二设备坐标系之间的坐标系转换关系，将所述第二手部关键点在所述第二设备坐标系中的位置信息转换到所述第一设备坐标系中，得到所述第二手部关键点的第二位置信息。

可选地，根据所述第一手部关键点的第一位置信息以及所述第二手部关键点的第二位置信息，确定所述用户的虚拟触控位置，包括：根据所述第一手部关键点的第一位置信息以及所述第二手部关键点的第二位置信息，确定目标手部关键点的坐标；所述目标手部关键点为所述第一手部关键点以及所述第二手部关键点的并集；根据所述目标手部关键点的坐标，计算所述手部的指尖坐标，作为虚拟触控位置。