[发明专利]一种基于手部动作虚拟输入字符的方法、装置和电子设备

权利要求书

1.一种基于手部动作虚拟输入字符的方法，其特征在于，包括：

确定分隔同一手指的不同捏合区域的指节，并为不同的捏合区域预设不同的按键字符信息，形成区域与字符的对应关系；

基于分隔捏合区域的指节构建并训练捏合区域识别模型；

在手臂采集手部动作的肌电信号；

利用采集到的所述肌电信号判别是否产生手部捏合动作，得到判别结果；

采集手部动作图像，识别所述手部动作图像中的当前捏合区域；

利用所述对应关系，确定所述当前捏合区域对应的按键字符信息；

根据所述当前捏合区域对应的按键字符信息向用户反馈输入结果；

其中，所述采集手部动作图像，包括：

若判别结果为产生手部捏合动作，则采集手部动作图像；

所述识别所述手部动作图像中的当前捏合区域，包括：

利用所述捏合区域识别模型识别所述手部动作图像中的当前捏合区域。

2.根据权利要求1所述的方法，其特征在于，所述基于分隔捏合区域的指节构建并训练捏合区域识别模型，包括：

获取多个图像样本；

基于分隔捏合区域的指节为所述图像样本设置标签，对于一个图像中捏合于单一捏合区域的图像样本，将其设置为白样本，将未出现捏合动作的图像样本设置为黑样本；

利用所述图像样本构建并训练捏合区域识别模型。

3.根据权利要求1所述的方法，其特征在于，所述利用所述捏合区域识别模型识别所述手部动作图像中的当前捏合区域，包括：

识别所述手部动作图像中的指节，根据当前捏合位置与所述指节的位置关系确定当前捏合区域。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述为不同的捏合区域预设不同的按键字符信息，形成区域与字符的对应关系，包括：

根据用户偏好的按键布局中各按键的位置关系以及手指各捏合区域的位置关系将按键与捏合区域相匹配；

根据匹配结果为不同的捏合区域预设不同的按键字符信息，形成区域与字符的对应关系。

5.根据权利要求1所述的方法，其特征在于，所述利用采集到的所述肌电信号判别是否产生手部捏合动作，包括：

利用训练的捏合动作判别模型判别所述肌电信号是否出现手部捏合动作。

6.根据权利要求5所述的方法，其特征在于，还包括：

获取肌电信号样本，根据采集各肌电信号样本时是否产生手部捏合动作设置标签；

利用具有标签的肌电信号样本构建并训练捏合动作判别模型。

7.根据权利要求1所述的方法，其特征在于，所述根据所述当前捏合区域对应的按键字符信息向用户反馈输入结果，包括：

录入并显示所述当前捏合区域对应的按键字符信息，或者，根据所述当前捏合区域对应的按键字符信息进行拼写并显示拼写结果。

8.一种基于手部动作虚拟输入字符的装置，其特征在于，包括：

区域划分模块，确定分隔同一手指的不同捏合区域的指节，并为不同的捏合区域预设不同的按键字符信息，形成区域与字符的对应关系；

肌电判别模块，用于：在手臂采集手部动作的肌电信号；

利用采集到的所述肌电信号判别是否产生手部捏合动作，得到判别结果；

图像识别模块，采集手部动作图像，识别所述手部动作图像中的当前捏合区域；

反馈模块，利用所述对应关系，确定所述当前捏合区域对应的按键字符信息；

根据所述当前捏合区域对应的按键字符信息向用户反馈输入结果；

其中，所述采集手部动作图像，包括：

若判别结果为产生手部捏合动作，则采集手部动作图像；

所述图像识别模块，还用于，基于分隔捏合区域的指节构建并训练捏合区域识别模型；

所述识别所述手部动作图像中的当前捏合区域，包括：

利用所述捏合区域识别模型识别所述手部动作图像中的当前捏合区域。