[发明专利]网页自动化机器人处理方法及系统

说明书

本发明公开了一种网页自动化机器人处理方法及系统，其中方法包括：调用浏览器原生应用服务接口，执行与所述应用服务接口对应的浏览器指令；启动定位器进程，定位用户鼠标动作；基于所述用户鼠标动作，获取对应的网页元素定位信息；基于所述网页元素定位信息，查找网页元素，生成查找结果；基于所述查找结果，触发执行指令。本发明提供一种通用的浏览器自动化操作、网页元素原生检测以及元素自动执行的方法，提升页面交互能力，使网页自动化在RPA流程里变得高效便捷。

技术领域

本发明涉及自动化技术领域，尤其涉及一种网页自动化机器人处理方法及系统。

背景技术

RPA(Robotic process automation，机器人流程自动化)作为一种自动操作软件的工具，其核心功能是操作页面上指定的UI元素，如单击某个按钮、在某个文本框中输入指定的文本等。而操作这些UI元素，首先我们要对该UI元素进行定位捕获，即获取页面上该UI元素的唯一标识，以供RPA流程在自动化执行动作时查找该元素并对其进行相应操作。

目前，传统网页自动化机器人采用selenium开源的方式，存在chromedriver版本限制，默认浏览器无痕模式限制，且无法绑定操作用户自启动的活动浏览器，在多个tab页面切换时，无法准确获取tab页多窗口切换等一系列问题。

随着Web浏览器的盛行，越来越多的Web应用应运而生，针对Web端网页的RPA需求也随之爆发，因此，如何实现Web浏览器的网页自动化能力，使浏览器自动化在RPA流程里变得高效便捷是目前需要解决的技术问题。

发明内容

为了解决上述问题，本发明提供一种网页自动化机器人处理方法及系统，具体地，本发明实施例提供了以下技术方案：

第一方面，本发明实施例提供了一种网页自动化机器人处理方法，应用于浏览器插件，包括：

调用浏览器原生应用服务接口，执行与所述应用服务接口对应的浏览器指令；

启动定位器进程，定位用户鼠标动作；

基于所述用户鼠标动作，获取对应的网页元素定位信息；

基于所述网页元素定位信息，查找网页元素，生成查找结果；

基于所述查找结果，触发执行指令。

进一步地，所述的基于所述查找结果，触发执行指令，包括：

获取所述查找结果，若网页中存在所述网页元素，则触发操作指令，操作所述网页元素；

若所述网页中不存在所述网页元素，则触发返回指令。

进一步地，所述的调用浏览器原生应用服务接口，执行与所述应用服务接口对应的浏览器指令，包括：

调用浏览器原生的导航到网址接口，执行打开网页指令；

和/或调用浏览器原生的前进接口，执行前进指令；

和/或调用浏览器原生的后退接口，执行后退指令；

和/或调用浏览器原生的获取源码接口，执行获取源码指令；

和/或调用浏览器原生的切换tab页接口，执行切换tab页指令；

和/或调用浏览器原生的刷新接口，执行刷新浏览器指令。

进一步地，所述的基于所述用户鼠标动作，获取对应的网页元素定位信息，包括：

当用户鼠标滑过所述网页元素时，根据鼠标焦点在当前网页的坐标，生成元素id属性；

根据所述元素id属性，获取所述网页元素的矩形框边界值，基于所述矩形框边界值生成对所述网页元素的遮罩，生成所述遮罩代表捕获到所述网页元素；