[发明专利]一种基于Transformer的RPA网页操作自动化方法及系统

说明书

本发明提出了一种基于Transformer的RPA网页操作自动化方法及系统，属于网页自动化操作的技术领域，其中方法包括：步骤1、获取网页截图；步骤2、获取网页截图对应的网页文档元素；步骤3、获得用户输入的命令；步骤4、整合网页截图和文档元素以及用户输入命令形成输入序列；步骤5、根据需求预设输出操作序列；步骤6、基于自回归过程，根据输入序列，预测输出的操作序列；步骤7、根据输出的操作序列执行对应的RPA操作；本发明将用户输入的自然语言指令与网页元素和截图相结合，通过多模态Transformer转化为对网页内容的操作步骤，形成网页检索的RPA自动化流程，从而完成用户指定的任务。

技术领域

本发明属于网页自动化操作的技术领域，特别是涉及一种基于Transformer的RPA网页操作自动化方法及系统。

背景技术

机器人流程自动化(Robotic Process Automation，以下简称RPA)技术是指通过软件机器人自动执行高重复性的软件操作任务，包括操作各类网页、资料输入与输出等应用。由于RPA机器人可以直接通过人机交互界面执行流程，无需改造系统即可实现业务自动化，对于已有的业务和流程不会产生影响，因此是一种广泛应用的效率工具。

为了提高自动化办公的效率，针对重复的流程如何快速实现网页自动化操作，降低使用门槛，成为电子化办公研究的重点之一。

发明内容

发明目的：提出一种基于Transformer的RPA网页操作自动化方法及系统，以解决现有技术存在的上述问题。将用户输入的自然语言指令与网页元素和截图相结合，通过多模态Transformer转化为对网页内容的操作步骤，形成网页操作的RPA自动化流程，从而完成用户指定的任务。

技术方案：第一方面，提出了一种基于Transformer的RPA网页操作自动化方法，该方法具体包括以下步骤：

步骤1、获取网页截图；

在获取到网页截图后，对获取到的网页截图进行预处理，并通过卷积和池化操作获得对应的图片特征序列。

步骤2、获取网页截图对应的网页文档元素；

在获取网页截图对应的网页文档元素的过程中，根据网页截图对应的HTML源码，通过遍历DOM树的方式寻找所有可交互元素；在按序对所有可交互元素编号后，将相关参数信息存储至数据库；同时，按序将可交互元素转换为元素标记序列。其中，元素标记序列将对应的元素类型和编号作为唯一标识符。

步骤3、获得用户输入的命令；

在获得用户输入的命令后，将输入的命令转换为指令标记序列，结合网页文档元素，通过在中间加入分隔符的拼接方式，构成长序列；将长序列进行向量化操作，得到元素指令序列。

步骤4、整合网页截图和文档元素以及用户输入命令；

整合网页截图和文档元素以及用户输入命令的过程中，通过在图片特征序列和元素指令序列中间加入分隔符的方式获得新的长序列；如有上一次输出的操作序列，则一并追加到长序列中作为输入序列；

步骤5、根据需求预设输出操作序列的格式；

步骤6、基于自回归过程，根据输入序列，预测输出的操作序列；

步骤7、根据输出的操作序列执行对应的RPA操作。如果存在后续操作，则从步骤1继续执行，否则终止。

在第一方面的一些可实现方式中，为提高操作序列预测结果的准确率，进一步包括性能优化步骤，具体包括以下步骤：

S1、构建用于性能训练的训练数据集；

S2、通过随机抽取的方式从训练数据集中读取一条训练数据；

所述训练数据包括：操作数据和指令数据；