[发明专利]基于RPA接口实现大屏终端语音控制的定制方法及系统

说明书

本发明实施例提供一种基于RPA接口实现大屏终端语音控制的定制方法。该方法包括：获取大屏操作系统的多个控制指令信息；基于多个控制指令信息和对应于多个控制指令信息的样本语料，训练用户意图确定模型；获取大屏操作系统的页面中的多个元素信息；从多个控制指令信息中，确定与多个元素信息中的元素信息相匹配的控制指令信息；通过RPA接口将所确定的相互匹配的控制指令信息和元素信息进行集成，以实现大屏操作系统的控制。本发明实施例还提供一种基于RPA接口实现大屏终端语音控制的定制系统。本发明实施例通过软硬一体大屏终端+RPA方式实现大屏语音操控，快速升级大屏交互体验，为用户提供智能化、效率极高的大屏操控体验。

技术领域

本发明涉及智能语音对话领域，尤其涉及一种基于RPA接口实现大屏终端语音控制的定制方法及系统。

背景技术

为了在企业场景中，充分体现信息呈现的优势，比如带领客户到公司内部的技术展览区进行参观介绍，通常技术展览区内会摆放着一个超大屏幕的智能终端，通过控制智能终端播放或执行某些任务向客户进行信息展示，可以将所要表达的内容通过大屏幕的智能设备充分展现出来。虽然投屏的形式会比大屏幕的智能设备所展现的区域要大，在这种场景或者需要客户亲自体验的场景，例如，企业、银行等，通常会避免使用投屏的形式，投屏会影响用户观感的体验，并且这种信息呈现通常客户是无法操控的，投屏的形式并不适用于这些场景。因此，对于这些特殊的使用场景还是会使用这种大屏终端设备。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

在大屏终端设备的使用中，绝大多数都是通过“鼠标、键盘、触屏”的操作方式进行交互，为了保障鼠标的精准度，就会使得鼠标的移动速度不会过快，在这硕大的屏幕中鼠标的操作效率相对低下。对于触屏这种操作，个人使用相对还好，但是如果需要向客户展示信息，那么操作屏幕的人使用起来就十分麻烦。对于现有的大屏终端，并不都具备语音交互功能，而接入语音交互大屏，也需要进行较大人力投入的二次系统开发，系统升级时间和成本都较大。

发明内容

为了至少解决现有技术中大屏终端操作效率低下，接入语音交互大屏，需要较大人力投入的二次系统开发，系统升级时间和成本都较大的问题。

第一方面，本发明实施例提供一种基于RPA接口实现大屏终端语音控制的定制方法，包括：

获取大屏操作系统的多个控制指令信息；

基于所述多个控制指令信息和对应于所述多个控制指令信息的样本语料，训练用户意图确定模型，以用于当接收到用户语音时确定用户意图；

获取所述大屏操作系统的页面中的多个元素信息；

从所述多个控制指令信息中，确定与所述多个元素信息中的元素信息相匹配的控制指令信息；

通过RPA接口将所确定的相互匹配的控制指令信息和元素信息进行集成，以用于当进行语音控制时，根据所述用户意图确定模型所确定的用户意图调用所述相互匹配的控制指令信息和元素信息实现所述大屏操作系统的控制。

第二方面，本发明实施例提供一种基于RPA接口实现大屏终端语音控制方法，包括：

接收用户输入语音数据；

根据所述语音数据确定用户的当前用户意图；

查询预先在对话管理配置中存储的用户意图-控制指令映射关系，以确定对应于所述当前用户意图的当前控制指令；

获取预先存储的对应于所述当前控制指令的系统操作路径；

基于预先配置的RPA接口，根据所述当前控制指令和所述系统操作路径控制所述大屏操作系统执行相应操作。

第三方面，本发明实施例提供一种基于RPA接口实现大屏终端语音控制的定制系统，包括：