[发明专利]语音交互方法以及装置

权利要求书

1.一种语音交互方法，其特征在于，所述方法包括：

查询当前应用程序窗口包含的控件的控件信息，基于所述控件信息获取可进行预设操作的控件为目标控件；

根据预设规则为各所述目标控件分别分配一短标识，并在各所述目标控件所在位置呈现对应的所述短标识；

接收语音信息并对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识；

确定待响应的所述短标识在当前应用程序窗口中的位置为目标位置，并在所述目标位置模拟执行所述预设操作，从而触发对应的目标控件。

2.根据权利要求1所述的语音交互方法，其特征在于，所述基于所述控件信息获取可进行预设操作的控件为目标控件，包括：

对于当前应用程序窗口中的每一控件，获取该控件的所述控件信息中包括的触发操作类型并判断所述触发操作类型和所述预设操作是否一致；

如果所述触发操作类型和所述预设操作一致，则将对应的所述控件作为目标控件。

3.根据权利要求2所述的语音交互方法，其特征在于，所述预设操作为触控点击操作和/或鼠标单击操作。

4.根据权利要求1所述的语音交互方法，其特征在于，所述根据预设规则为各所述目标控件分别分配一短标识，包括：

按照预设顺序，为所述各所述目标控件依次分配数字标识、字母标识或者自定义标识。

5.根据权利要求1所述的语音交互方法，其特征在于，所述对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识，包括：

对所述语音信息进行语音识别，以将所述语音信息转换为文本信息；

对所述文本信息进行匹配操作，获取包含的待响应的所述短标识。

6.根据权利要求5所述的语音交互方法，其特征在于，所述对语音信息进行语音识别，包括：

通过深度神经网络模型、隐马尔科夫模型、高斯混合模型中的一种或多种模型，对所述语音信息进行语音识别。

7.根据权利要求1所述的语音交互方法，其特征在于，所述在所述目标位置模拟执行所述预设操作，包括：

通过模拟手动输入设备的动作，在所述目标位置执行所述预设操作；所述手动输入设备包括触摸屏和/或鼠标。

8.一种语音交互装置，其特征在于，所述装置包括：

目标控件检测模块，用于查询当前应用程序窗口包含的控件的控件信息，基于所述控件信息获取可进行预设操作的控件为目标控件；

短标识分配模块，用于根据预设规则为各所述目标控件分别分配一短标识，并在各所述目标控件所在位置呈现对应的所述短标识；

短标识识别模块，用于接收语音信息并对所述语音信息进行识别，获取所述语音信息中包括的待响应的所述短标识；

操作模拟模块，用于确定待响应的所述短标识在当前应用程序窗口中的位置为目标位置，并在所述目标位置模拟执行所述预设操作，从而触发对应的目标控件。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至7中任一项所述方法。