[发明专利]一种基于手部动作虚拟输入字符的方法、装置和电子设备

说明书

本说明书实施例提供一种基于手部动作虚拟输入字符的方法，通过为指节分隔出的不同捏合区域预设不同的按键字符信息，形成区域与字符的对应关系，采集手部动作图像，识别当前捏合区域，确定其对应的按键字符信息，向用户反馈输入结果。通过利用指节将手指分隔出不同的捏合区域，充分挖掘了手部的各种捏合动作，改善了对手部动作的利用效果。由于捏合动作中，相接触的两者为同一人体的部位，不需要控制手部向外界固定的按键位置移动，由于人体对自身部位的感知性更强，一方面，强感知性使得操作准确率更高，另一方面，强感知性使用户即便在不注视手部的情况下，依然可以完成特定的捏合动作，不需要视线来回切换，因而能够提高效率，提升用户体验。

技术领域

本申请涉及计算机领域，尤其涉及一种基于手部动作虚拟输入字符的方法、装置和电子设备。

背景技术

现有的市面上已经有各种输入字符的方法，通过硬件键盘、显示屏键盘，或者虚拟场景中的键盘来为用户提供出发输入字符的软硬件接口，从而基于用户的输入操作，输入按键对应的字符（单词、文字、数字和符号等）。

随着技术的改进，虚拟键盘的概念逐步为人们所熟知，其本质是在空间中呈现一个键盘的画面，当用户手指触及画面中的按键时，该按键处的传感器感应用户触及到该按键，继而完成字符的输入。

然而，虽然虚拟键盘的概念很火爆，但是虚拟键盘的实际应用依然很少。

申请人对其分析发现，虚拟键盘的本质需要用户手指触及预先设定的固定位置，由于用户在输入过程中往往需要了解输入框或者拼写框中的结果，而输入框或拼写框又不能与虚拟键盘重叠显示，这就造成，用户需要在输入框、拼写框与手指、按键之间来回切换视线，即便是利用硬件键盘“盲打”水平高超的用户，由于虚拟显示的键盘没有触觉反馈，使这种高水平用户依然需要视线切换，这就会降低拼写速度以及拼写准确率，用户体验较差。

因此，有必要提出一种高效准确体验好的字符输入方法。

发明内容

本说明书实施例提供一种基于手部动作虚拟输入字符的方法、装置和电子设备，用以提高字符输入过程的效率和准确性，进而提升用户体验。

本说明书实施例提供一种基于手部动作虚拟输入字符的方法，包括：

确定分隔同一手指的不同捏合区域的指节，并为不同的捏合区域预设不同的按键字符信息，形成区域与字符的对应关系；

采集手部动作图像，识别所述手部动作图像中的当前捏合区域；

利用所述对应关系，确定所述当前捏合区域对应的按键字符信息；

根据所述当前捏合区域对应的按键字符信息向用户反馈输入结果。

可选地，还包括：

在手臂采集手部动作的肌电信号；

利用采集到的所述肌电信号判别是否产生手部捏合动作，得到判别结果；

所述采集手部动作图像，包括：

若判别结果为产生手部捏合动作，则采集手部动作图像。

可选地，还包括：

基于分隔捏合区域的指节构建并训练捏合区域识别模型；

所述识别所述手部动作图像中的当前捏合区域，包括：

利用所述捏合区域识别模型识别所述手部动作图像中的当前捏合区域。

可选地，所述基于分隔捏合区域的指节构建并训练捏合区域识别模型，包括：

获取多个图像样本；