[发明专利]基于RPA接口实现大屏终端语音控制的定制方法及系统

权利要求书

1.一种基于RPA接口实现大屏终端语音控制的定制方法，包括：

获取大屏操作系统的多个控制指令信息；

基于所述多个控制指令信息和对应于所述多个控制指令信息的样本语料，训练用户意图确定模型，以用于当接收到用户语音时确定用户意图；

获取所述大屏操作系统的页面中的多个元素信息；

从所述多个控制指令信息中，确定与所述多个元素信息中的元素信息相匹配的控制指令信息；

通过RPA接口将所确定的相互匹配的控制指令信息和元素信息进行集成，以用于当进行语音控制时，根据所述用户意图确定模型所确定的用户意图调用所述相互匹配的控制指令信息和元素信息实现所述大屏操作系统的控制。

2.根据权利要求1所述的方法，其中，所述方法还包括：用于配置所述用户意图调用所述相互匹配的控制指令信息的对话管理配置框；

在所述对话管理配置框中提供用户意图选择列表，以及与所述用户意图相互匹配的控制指令输入文本框。

3.根据权利要求2所述的方法，其中，所述对话管理配置框还包括：意图条件添加按钮，用于配置命中所述意图后跳转至控制指令的与/或条件。

4.根据权利要求1所述的方法，其中，所述用户意图确定模型包括语音识别模型和自然语言理解模型。

5.根据权利要求1所述的方法，其中，所述控制指令信息包括控制指令和相应的指令系统操作路径；

所述元素信息包括页面元素和所述页面元素的位置信息，所述页面元素至少包括：超链接元素、按钮元素、文档元素、图片元素。

6.一种基于RPA接口实现大屏终端语音控制方法，包括：

接收用户输入语音数据；

根据所述语音数据确定用户的当前用户意图；

查询预先在对话管理配置中存储的用户意图-控制指令映射关系，以确定对应于所述当前用户意图的当前控制指令；

获取预先存储的对应于所述当前控制指令的系统操作路径；

基于预先配置的RPA接口，根据所述当前控制指令和所述系统操作路径控制所述大屏操作系统执行相应操作。

7.一种基于RPA接口实现大屏终端语音控制的定制系统，包括：

指令信息获取程序模块，用于获取大屏操作系统的多个控制指令信息；

模型训练程序模块，用于基于所述多个控制指令信息和对应于所述多个控制指令信息的样本语料，训练用户意图确定模型，以用于当接收到用户语音时确定用户意图；

元素信息获取程序模块，用于获取所述大屏操作系统的页面中的多个元素信息；

控制指令确定程序模块，用于从所述多个控制指令信息中，确定与所述多个元素信息中的元素信息相匹配的控制指令信息；

定制程序模块，用于通过RPA接口将所确定的相互匹配的控制指令信息和元素信息进行集成，以用于当进行语音控制时，根据所述用户意图确定模型所确定的用户意图调用所述相互匹配的控制指令信息和元素信息实现所述大屏操作系统的控制。

8.一种基于RPA接口实现大屏终端语音控制系统，包括：

语音接收程序模块，用于接收用户输入语音数据；

意图确定程序模块，用于根据所述语音数据确定用户的当前用户意图；

控制指令确定程序模块，用于查询预先在对话管理配置中存储的用户意图-控制指令映射关系，以确定对应于所述当前用户意图的当前控制指令；

系统操作路径确定程序模块，用于获取预先存储的对应于所述当前控制指令的系统操作路径；

控制程序模块，用于基于预先配置的RPA接口，根据所述当前控制指令和所述系统操作路径控制所述大屏操作系统执行相应操作。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。