[发明专利]自动化流程的异常排除方法、装置、设备及存储介质

说明书

本发明公开了一种自动化流程的异常排除方法、装置、设备及存储介质，所述方法包括：在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；根据界面元素信息在当前界面中匹配自动化流程当前的待操作元素；若在当前界面中未匹配到待操作元素，则根据界面元素信息中的元素间关系信息分析确定异常原因；采取与异常原因匹配的异常处理方式对当前界面进行处理。本发明中通过对当前界面的图像进行界面逻辑解析，根据解析得到的界面元素信息进行元素未匹配成功后的异常原因分析，使得在无法拿到网页源码、网页源码与页面显示不符以及软件不提供接口的情况下也可以正常处理流程执行过程中出现的异常，增大了流程的执行成功率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种自动化流程的异常排除方法、装置、设备及存储介质。

背景技术

机器人流程自动化(Robotic Process Automation，RPA)是以机器人作为虚拟劳动力，依据预先设定的程序与现有用户系统进行交互并完成预期的任务。现有的RPA技术一般包含三个步骤：录屏、流程制定和流程执行，通过录制操作者的鼠标和键盘的动作步骤形成自动化流程，再次运行自动化流程的时候就会重新执行录制过程中的这些操作，流程制定是指用户可以根据需要修改自动化流程的参数，比如鼠标点击的位置、键盘输入的值。

流程的执行过程中，可能会出现因界面改版、弹窗等原因造成操作异常，目前有通过网页源码或者软件接口获取某些异常信息以解决异常的方案，但在无法拿到网页源码、网页脚本与页面显示不符以及软件不提供接口的情况下，无法正常获取到这些异常信息，导致无法排除异常只能中断流程，流程的执行成功率低。

发明内容

本发明的主要目的在于提供一种自动化流程的异常排除方法、装置、设备及存储介质，旨在解决在无法拿到网页源码、网页脚本与页面显示不符以及软件不提供接口的情况下，无法正常获取到异常信息从而无法解决异常的技术问题。

为实现上述目的，本发明提供一种自动化流程的异常排除方法，所述自动化流程的异常排除方法包括：

在自动化流程执行过程中，对当前界面的图像进行界面逻辑解析得到界面元素信息；

根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素；

若在当前界面中未匹配到所述待操作元素，则根据所述界面元素信息中的元素间关系信息分析确定异常原因；

采取与所述异常原因匹配的异常处理方式对当前界面进行处理。

可选地，所述界面元素信息还包括当前界面中各元素的类别信息和属性信息，

所述根据所述界面元素信息在当前界面中匹配所述自动化流程当前的待操作元素的步骤包括：

从当前界面的各元素中查找类别信息和属性信息与所述自动化流程当前的待操作元素匹配的元素；

若查找到，则确定在当前界面中匹配到所述待操作元素。

可选地，所述采取与所述异常原因匹配的异常处理方式对当前界面进行处理的步骤包括：

当所述异常原因是当前界面出现异常弹窗时，关闭所述异常弹窗；

对关闭异常弹窗后的界面继续进行界面逻辑解析操作。

可选地，所述对当前界面的图像进行界面逻辑解析得到界面元素信息的步骤之前，还包括：

当在所述自动化流程执行过程中执行打开页面的操作后，对当前界面的图像进行界面初识别，确定当前界面是否正常；

所述对当前界面的图像进行界面逻辑解析得到界面元素信息的步骤，包括：

若确定当前界面正常，则对当前界面的图像进行界面逻辑解析得到界面元素信息。