[发明专利]RPA元素拾取同屏切换方法及系统

说明书

本发明属于RPA元素识别技术领域，具体涉及RPA元素拾取同屏切换方法及系统。方法包括S1，选择元素拾取方式；S2，将鼠标移至特定的软件界面；S3，获取界面相关信息和界面截图，并进行传送和解析；S4，对界面截图进行转发，并判断是否超过指定的时间T；S5，对界面截图算法解析处理,获得算法解析结果；S6，将算法解析结果封装，在软件界面上展示；S7，判断用户的操作模式；S8，用户选中对应元素后，再次高亮展示所拾取的元素，用户确认无误后完成拾取。本发明结合服务分片机制、操作模式区分和浮窗展示的前后端处理策略，具有拾取效果更出色、适用范围更广泛的特点。

技术领域

本发明属于RPA元素识别技术领域，具体涉及RPA元素拾取同屏切换方法及系统。

背景技术

RPA（机器人流程自动化，Robotic Process Automation）是一种当前快速发展的计算机软件自动化技术。元素拾取是RPA的重要组成功能，包括元素检测与识别。

现有的元素拾取技术基本分为三种：借助操作系统指令和源码解析方式的传统元素拾取、采用图像匹配或模板匹配方式的匹配类元素拾取、以及基于深度学习模型的CV拾取。其中传统元素拾取基本成为一种必备的方法，而基于图像的匹配类拾取技术和基于深度学习模型的CV拾取技术大致各占RPA元素拾取技术的一半。

基于图像匹配的元素拾取技术的方案思路是，将要拾取的界面元素分为图标、文字两类，如果是文字类元素，现有技术方法采用OCR技术进行提取，如果是图标类元素则一般以截取元素小图标的方式进行提取；在自动化流程执行时，拾取阶段界面获取的文字类元素使用其位置信息和文字内容与待匹配的目标界面各元素进行匹配，而图标类元素则采用图像特征（如像素点、灰度分布、边缘特征、角点特征等）的方式进行匹配，最终在目标界面上找到各个元素，完成相应操作。图像匹配是现在广泛应用的一种元素拾取技术，其优势是简单易实现，但也存在拾取和匹配不准的固有问题。

在图像匹配的基础上，现有技术提出了采用CV领域的目标检测技术来做元素拾取的方法。基于深度学习模型的CV拾取技术，是将待拾取界面上的每个图标、文字等元素视为目标检测中的物体目标，通过标注大量类似界面上每个元素的位置、类别等，选用深度神经网络模型来训练、学习得到一个检测器。该检测器可以对新来的软件界面预测每个元素的位置和类别，而在流程运行阶段采用相同方法进行元素提取，并将两个阶段分别获得元素进行匹配，实现RPA元素的拾取和匹配功能。

基于深度学习框架的目标检测模型，能够更精准地检测到界面中的各个元素，尤其是一些小目标元素，并且在运行阶段能够获得更稳定的匹配效果；但是问题在于模型的计算量都比较大，单次推理的浮点数运算次数都在亿级以上，因此如果不对模型进行精细地裁剪和量化，这种量级的计算通常只能放在GPU上；不加优化和处理的同个模型在GPU和普通CPU上的运行速度差异可能达到数倍甚至十数倍。

与上述两种技术相关的，现有的整体元素拾取交互上一般采用基于作用域的方案。这种方案的设计是：首先选定一个软件界面或截取一块屏幕区域作为后续操作的作用域，将该作用域的图像、源码（如有）等信息传递给元素拾取服务，后台的算法程序会通过源码解析、模板匹配、CV拾取等多种方式对该作用域进行内容分析，并返回作用域中各个元素所在的位置、元素的类别等结果，位置和类别可以通过画图的方式在屏幕中展现出来，用户便可以在设计器上针对返回结果，选择需要拾取和后续操作的元素，最终完成设计阶段的元素拾取工作；而在执行阶段，会同样在目标界面上先匹配作用域，再匹配对应的元素。

基于作用域的元素拾取技术能够将对元素的各类拾取、匹配等操作都限定在事先划定的作用域范围内，确保拾取和运行阶段的界面一致性，而在作用域之外的屏幕其他元素则不在此次可操作的范围内。这种设计能够解决一部分问题，但在实际使用过程中操作比较复杂，对于不同分辨率的情况，更存在着无法匹配的问题。