[发明专利]通过语音控制应用的方法、装置、电子设备与存储介质

权利要求书

1.一种通过语音控制应用的方法，其特征在于，应用于电子设备，方法包括：

接收用户发出的语音指令，根据所述语音指令以及目标应用，确定搜索关键词；其中，所述目标应用为当前时刻运行在电子设备最前端的应用；

将所述搜索关键词发送给云端服务器，以使得所述云端服务器根据所述搜索关键词从预先设置的目标应用的控件识别信息集合中确定目标控件的识别信息，所述目标控件为根据所述语音指令所确定的控件；

接收所述目标控件的识别信息，根据所述目标控件的识别信息以及预先设置的候选控件信息集合，判断所述候选控件信息集合中是否包含所述目标控件的位置信息；其中，所述候选控件信息包括候选控件的识别信息与位置信息，所述候选控件为所述目标应用在当前时刻的界面所包含的控件；

当所述候选控件信息集合中包含所述目标控件的位置信息时，根据所述目标控件的位置信息生成模拟点击行为。

2.根据权利要求1所述的通过语音控制应用的方法，其特征在于，所述根据所述语音指令以及目标应用，确定搜索关键词，包括：

对所述语音指令进行语义识别，得到所述语音指令的意图文本；

获取所述目标应用的标识；

根据所述语音指令的意图文本以及所述目标应用的标识，确定搜索关键词。

3.根据权利要求1所述的通过语音控制应用的方法，其特征在于，所述识别信息包括文本信息、标识信息以及类型信息；

相应的，所述根据所述目标控件的识别信息以及预先设置的候选控件信息集合，判断所述候选控件信息集合中是否包含所述目标控件的位置信息，包括：

步骤S1、将所述目标控件的文本信息与所述候选控件信息集合中各个候选控件的文本信息进行逐一比对，若比对成功，执行步骤S4；若比对全部失败，将所述目标控件的标识信息与所述候选控件信息集合中各个候选控件的标识信息进行逐一比对，若比对成功，执行步骤S4；若比对全部失败，将所述目标控件的类型信息与所述候选控件信息集合中各个候选控件的类型信息进行逐一比对，若比对成功，执行步骤S4；若比对全部失败，执行步骤S2；

步骤S2、判断比对失败的次数是否达到预设的第一阈值，当已经达到预设的第一阈值，返回任务执行失败的提示信息，结束操作，否则，执行步骤S3；

步骤S3、当与前一次比对操作的时间间隔达到预设的第二阈值，重新执行步骤S1；

步骤S4、输出与所述目标控件相匹配的候选控件的位置信息，结束操作。

4.根据权利要求1至3任一项所述的通过语音控制应用的方法，其特征在于，在接收用户发出的语音指令的步骤之前，方法还包括：

监控所述目标应用的界面，当所述目标应用的界面发生变化后，确定所述目标应用在当前时刻的界面所包含的控件为候选控件；

扫描候选控件，得到所述候选控件的识别信息与位置信息；

根据所述候选控件的识别信息与位置信息，得到候选控件信息集合。

5.一种通过语音控制应用的方法，其特征在于，应用于云端服务器，方法包括：

接收搜索关键词；其中，所述搜索关键词是根据用户发出的语音指令以及目标应用确定的，所述目标应用为当前时刻运行在电子设备最前端的应用；

根据所述搜索关键词从预先设置的目标应用的控件识别信息集合中确定目标控件的识别信息；其中，所述目标控件为根据所述语音指令所确定的控件；

发送所述目标控件的识别信息，以使得所述电子设备根据所述目标控件的识别信息以及预先设置的候选控件信息集合，判断所述候选控件信息集合中是否包含所述目标控件的位置信息；其中，所述候选控件信息包括候选控件的识别信息与位置信息，所述候选控件为所述目标应用在当前时刻的界面所包含的控件；以及当所述候选控件信息集合中包含所述目标控件的位置信息时，所述电子设备根据所述目标控件的位置信息生成模拟点击行为。