[发明专利]基于多锚点的用户界面的提取、识别与机器学习

说明书

公开了基于多锚点的用户界面的提取、识别与机器学习。多个锚点可用于用户界面(UI)的机器人过程自动化(RPA)。多个锚点可用于确定用于RPA的UI的捕获图像中的元素之间的关系。锚定的结果可用于机器学习(ML)组件的训练或重新训练。

技术领域

本公开的实施例总体涉及机器人过程自动化。

背景技术

机器人过程自动化(RPA)可以自动化企业平台、虚拟机(VM)配置、远程桌面、云计算、桌面应用等中的重复操作、功能或工作流。对于用于自动化的用户界面(UI)捕获、提取、刮取或执行，锚点或参考点可以与计算机视觉(CV)或机器视觉(MV)一起使用以识别UI的图像的目标区域中的一个或多个元素。然而，利用单个锚点或参考点的配置可能易受不期望的复制、错误、假阳性、缺失元素等的影响。

在工作流的RPA设计或执行中，也可能遇到基于每英寸点数(DPI)、大小调整、缩放、视频帧速率、阴影等的错误。这些错误在虚拟或远程计算机配置中可能更为明显。此外，UI中的按钮形状或复选框可能会导致使用CV的RPA的错误。希望使用改进的锚定来减少针对RPA的工作流生成或运行中的错误。

发明内容

公开了用于将多锚定用于一个或多个工作流的机器人过程自动化(RPA)的用户界面(UI)的方法和装置。在机器人的开发或运行时期间，对于用于自动化的一个或多个工作流，UI上的多锚点分析可用于在提取或刮取的图像上进行元素检测或训练。还可以在UI上为桌面应用、web应用以及虚拟或远程计算机配置来配置多锚点分析，以减少错误并提高性能。

附图说明

通过结合附图以示例的方式给出的以下描述可以获得更详细的理解，其中，图中相同的参考数字表示相同的元素，并且其中：

图1A是机器人过程自动化(RPA)开发、设计、操作或执行的图示；

图1B是RPA开发、设计、操作或执行的另一图示；

图1C是计算系统或环境的图示；

图2是使用RPA的反馈回路进行重新训练的图示；

图3是用于RPA的用户界面(UI)的多锚定的图示；

图4是用于RPA的UI的多锚定的另一图示；

图4A是用于RPA的UI的多锚定的另一图示；和

图5是使用用于RPA的UI的多锚定的过程的图示。

具体实施方式

对于下面描述的方法和过程，所述步骤可以不按序列以任何顺序执行，并且可以执行未明确描述或示出的子步骤。此外，“耦接”或“可操作地耦接”可以意味着对象被链接，但是在链接的对象之间可以具有零个或多个中间对象。而且，在一个或多个实施例中可以使用所公开的特征/元素的任何组合。当使用提及“A或B”时，可包括A、B或A和B，其可类似地扩展到较长的列表。当使用记号X/Y时，它可以包括X或Y。可选地，当使用记号X/Y时，它可以包括X和Y。X/Y记号可以类似地扩展到具有相同解释逻辑的较长列表。

图1A是机器人过程自动化(RPA)开发、设计、操作或执行100的图示。有时被称为工作室、开发平台、开发环境等的设计器102可以被配置为生成用于机器人执行或自动化一个或多个工作流的代码、指令、命令等。从计算系统可以提供给机器人的选择中，机器人可以确定由用户或操作者选择的视觉显示的区域的代表性数据。作为RPA的一部分，多个维度中的诸如正方形、矩形、圆形、多边形、自由形式等的形状可用于与计算机视觉(CV)操作或机器学习(ML)模型相关的UI机器人开发和运行时。