[发明专利]计算设备的语音控制

权利要求书

1.一种方法，包括：

确定应用的内容正显示在设备上；

至少部分地基于确定正显示所述内容，标识与所述内容相关联的元数据；

至少部分地基于与所述内容相关联的所述元数据来标识所述内容的可选择的一部分；

向远程系统发送标识所述内容的所述部分的屏幕数据；

向所述远程系统发送表示用户话语的音频数据；

从所述远程系统接收指令数据以针对所述内容的所述部分执行动作，所述指令数据由所述远程系统根据所述屏幕数据和所述音频数据确定；以及

促使执行所述动作。

2.根据权利要求1所述的方法，其中接收所述指令数据包括至少部分地基于所述应用已被授权接收所述指令数据的指示来接收所述指令数据。

3.根据权利要求1所述的方法，还包括：

促使显示覆盖内容，所述覆盖内容包括与所述内容的所述部分相关联的标识符；

向所述远程系统发送指示所述覆盖内容被显示的覆盖数据；以及

其中所述指令数据包括选择所述标识符的指示符。

4.根据权利要求1所述的方法，还包括：

从所述远程系统接收与由所述设备显示的所述内容相关联的第一标识符；

从所述远程系统接收与由所述设备显示的所述内容相关联的第二标识符；

确定所述第一标识符和所述第二标识符与所述内容的所述部分相对应；

生成与所述第一标识符和所述第二标识符相对应的修改的标识符；以及

促使显示覆盖内容，所述覆盖内容包括针对所述内容的所述部分显示的所述修改的标识符。

5.根据权利要求1所述的方法，其中所述指令数据指示与所述动作相关联的值，并且促使执行所述动作包括至少部分地基于以下促使执行动作：

根据指示与所述内容相关联的节点的文档对象模型信息确定与所述值相对应的所述内容的第一节点；

根据所述文档对象模型信息确定与所述值相对应的所述内容的第二节点；

确定所述第一节点与所述值相对应的第一置信度；

确定所述第二节点与所述值相对应的第二置信度；以及

至少部分地基于所述第一置信度优先于所述第二置信度，促使针对所述第一节点执行所述动作。

6.根据权利要求1所述的方法，其中所述内容包括第一内容，所述部分包括第一部分，所述屏幕数据包括第一屏幕数据，并且还包括：

接收指示正显示第二内容的事件数据；

至少部分地基于指示正显示所述第二内容的所述事件数据，标识所述第二内容的第二部分，所述第二内容的所述第二部分在被用户选择时促使第三内容被显示；以及

向所述远程系统发送标识所述第二内容的所述第二部分的第二屏幕数据，所述第二部分不同于所述第一部分。

7.根据权利要求1所述的方法，其中标识所述内容的所述部分包括至少部分地基于与所述应用相关联的文档对象模型数据来标识所述内容的所述部分。

8.根据权利要求1所述的方法，其中促使执行所述动作包括至少部分地基于根据指示与所述内容相关联的节点的文档对象模型信息确定与所述内容的所述部分相对应的节点来促使执行所述动作。

9.一种方法，包括：

接收表示用户话语的音频数据；

至少部分地基于所述音频数据，确定与所述用户话语相关联的意图数据；

标识与所述意图数据相对应的第一指令数据，所述第一指令数据被配置为当被设备接收时，促使所述设备针对应用的一部分内容执行第一操作；

标识与所述意图数据相对应的第二指令数据，所述第二指令数据被配置为当被所述设备接收时，促使所述设备针对所述内容的所述部分执行第二操作；

确定所述第一指令数据优先于所述第二指令数据；

至少部分地基于所述第一指令数据优先于所述第二指令数据来选择所述第一指令数据；以及

将所述第一指令数据发送至所述设备，以对所述内容的所述部分执行动作。