[发明专利]基于页面元素识别的自动化流程实现方法、系统、设备及介质

权利要求书

1.一种基于页面元素识别的自动化流程实现方法，其特征在于，包括以下步骤：

获取待执行脚本；

基于预训练好的页面元素识别模型，按顺序执行所述待执行脚本；

其中，所述预训练好的页面元素识别模型为分布式识别模型；

所述预训练好的页面元素识别模型的获取步骤包括：

获取标注后的训练样本数据；

基于获得的标注后的训练样本数据的不同类别，对分布式识别模型进行训练，训练完毕获得所述预训练好的页面元素识别模型；

所述获取待执行脚本的步骤包括：

将待自动化执行的操作分解为一系列的“识别元素-操作元素-验证结果”基础三元操作的顺序组合，获得待执行脚本；

所述待执行脚本包括：

元素检索指令：FIND 与“关键字”为从页面中搜索是否存在名为“关键字”的元素，其返回值为该元素的定位或“NULL”；OCRFIND 与“关键字”为从页面中搜索是否存在文字为“关键字”的元素，其返回值为该元素的定位或“NULL”；

元素控制指令：CLICK 与“位置”为对给定的位置执行点击操作；INPUT 与“内容”为在对应的页面元素中输入“内容”；

存在性条件判断指令：IFEXIST为判断给定的元素名称或元素文字是否存在；

正确性条件判断指令：COMPARE为比较页面元素返回值是否与用例中指定值一致；

所述基于预训练好的页面元素识别模型，按顺序执行所述待执行脚本的步骤具体包括：

1)按照脚本中import的python文件，定位文件并准备执行文件；其中，所述python文件用于查找、定位页面元素；或者，所述python文件用于执行比对图片或判断功能；

2）获取脚本中需要执行的python文件中的方法名称；

3）获取脚本中需要执行的python文件的传入参数、传出参数名称；

4）执行该python文件；

5）显示执行python文件的日志；

6）根据返回的识别结果与未知信息，对页面元素进行点击、输入操作；对于执行比对图片或判断功能的python文件，执行后返回结果为带标注的图片或布尔值；

所述获取标注后的训练样本数据时，对于网页形式的软件系统，通过自动化标注方法获取标注后的训练样本数据；其中，所述自动化标注方法包括以下步骤：

（1）确定标注目标；

（2）以页面元素名称作为类别名称，在页面代码中遍历所述页面元素名称；

（3）读取所述页面元素的长宽高信息；

（4）对步骤（3）获得的数据进行规整化并写入页面json文件；

（5）按照2的指数次幂切分页面并计算各页面元素在切割页面中的相对位置；

（6）将步骤（5）获得的各切分子页面进行base64转写；

（7）基于步骤（6）的处理结果，生成每个切割子页面的json文件，作为各子页面的标注信息。

2.根据权利要求1所述的一种基于页面元素识别的自动化流程实现方法，其特征在于，所述对分布式识别模型进行训练时包括预训练过程。