[发明专利]计算机交互方法、设备和程序产品

权利要求书

1.一种计算机交互方法，包括：

响应于对电子设备的输入的触发，获取呈现用户的给定部位的多个图像；

基于所述给定部位在所述多个图像中的相应姿态来确定对应的字符序列，所述字符序列中的相应字符选自预定义字符集，所述预定义字符集中的多个字符分别对应给定部位的不同姿态；以及

基于所述字符序列来确定输入到所述电子设备的计算机指令。

2.根据权利要求1所述的方法，其中识别所述字符序列包括：

利用已训练的多模态识别模型来识别所述给定部位在所述多个图像中的相应姿态；以及

基于所述预定义字符集中的相应字符与给定部位的相应姿态之间的对应关系，确定所识别的相应姿态对应的所述字符序列。

3.根据权利要求2所述的方法，其中所述多模态识别模型在训练过程中通过模型剪枝或参数量化而被压缩。

4.根据权利要求1所述的方法，其中所述预定义字符集至少包括手语字符集，所述手语字符集包括与手部的多个姿态各自对应的多个自然语言字符。

5.根据权利要求4所述的方法，其中所述预定义字符集还包括至少一个特殊符号，所述至少一个特殊符号对应的姿态与所述多个自然语言字符各自对应的所述多个姿态均不同。

6.根据权利要求5所述的方法，其中所述至少一个特殊符号包括以下至少一项：空格符、星号和斜线符号。

7.根据权利要求4所述的方法，其中所述手语字符集包括美国手语(ASL)中的多个英文字母或汉语手语中的多个拼音字符。

8.根据权利要求1所述的方法，其中确定所述计算机指令包括：

利用已训练的语言模型来校正所述字符序列；以及

确定与经校正的所述字符序列相对应的计算机指令。

9.根据权利要求1所述的方法，其中所述计算机指令包括以下至少一项：与用户验证相关的输入，和计算机可执行命令的输入。

10.一种电子设备，包括：

至少一个处理器；以及

存储有计算机可执行指令的至少一个存储器，所述至少一个存储器和所述计算机可执行指令被配置为，与所述至少一个处理器一起，使得所述电子设备执行动作，所述动作包括：

响应于对电子设备的输入的触发，获取呈现用户的给定部位的多个图像；

基于所述给定部位在所述多个图像中的相应姿态来确定对应的字符序列，所述字符序列中的相应字符选自预定义字符集，所述预定义字符集中的多个字符分别对应给定部位的不同姿态；以及

基于所述字符序列来确定输入到所述电子设备的计算机指令。

11.根据权利要求10所述的设备，其中识别所述字符序列包括：

利用已训练的多模态识别模型来识别所述给定部位在所述多个图像中的相应姿态；以及

基于所述预定义字符集中的相应字符与给定部位的相应姿态之间的对应关系，确定所识别的相应姿态对应的所述字符序列。

12.根据权利要求11所述的设备，其中所述多模态识别模型在训练过程中通过模型剪枝或参数量化而被压缩。

13.根据权利要求10所述的设备，其中所述预定义字符集至少包括手语字符集，所述手语字符集包括与手部的多个姿态各自对应的多个自然语言字符。

14.根据权利要求13所述的设备，其中所述预定义字符集还包括至少一个特殊符号，所述至少一个特殊符号对应的姿态与所述多个自然语言字符各自对应的所述多个姿态均不同。

15.根据权利要求14所述的设备，其中所述至少一个特殊符号包括以下至少一项：空格符、星号和斜线符号。