[发明专利]基于多锚点的用户界面的提取、识别与机器学习

权利要求书

1.一种计算设备，包括：

显示设备，被配置为显示用户界面UI；

处理器，被配置为操作机器人以使虚拟或远程机器环境中的活动自动化，其中所述机器人利用所述UI的捕获图像中的两个或更多个锚点；

收发器，被配置为将具有所述两个或更多个锚点的所述捕获图像发送到计算机视觉CV引擎，并将所述捕获图像发送到光学字符识别OCR引擎；

所述收发器被配置为接收来自所述OCR引擎的结果以及由所述CV引擎基于标签和文本域元素相对于所述捕获图像的区域中的所述两个或更多个锚点和目标元素的几何匹配而确定的关系，其中所述几何匹配与置信区间(CI)相关联；并且

其中所述机器人基于所述关系在所述UI中的所述目标元素上执行所述活动。

2.根据权利要求1所述的计算设备，其中所述关系定义锚定按钮与所述标签或所述文本域之间的几何位置。

3.根据权利要求1所述的计算设备，其中所述捕获图像来自所述虚拟或远程机器环境的视频流。

4.根据权利要求1所述的计算设备，其中所述几何匹配包括所述UI的所述捕获图像中的一个或多个元素之间的角度或三角形布置。

5.根据权利要求1所述的计算设备，其中所述几何匹配基于ML模型。

6.根据权利要求1所述的计算设备，其中重新训练基于在所述UI的所述捕获图像中检测到的缺失元素而被执行。

7.根据权利要求1所述的计算设备，其中所述几何匹配基于所述UI的所述捕获图像中的元素的弹性或非弹性几何关系。

8.根据权利要求1所述的计算设备，其中所述两个或更多个锚点中的第一锚点被定位在第一按钮上，并且所述两个或更多个锚点中的第二锚点被定位在第二按钮上。

9.一种由计算设备执行的方法，所述方法包括：

通过所述计算设备显示用户界面UI；

通过所述计算设备操作机器人以使虚拟或远程机器环境中的活动自动化，其中所述机器人利用所述UI的捕获图像中的两个或更多个锚点；

通过所述计算设备将具有所述两个或更多个锚点的所述捕获图像发送到计算机视觉CV引擎，并且通过所述计算设备将所述捕获图像发送到光学字符识别OCR引擎；

通过所述计算设备接收来自所述OCR引擎的结果和由所述CV引擎基于标签和文本域元素相对于所述捕获图像的区域中的所述两个或更多个锚点和目标元素的几何匹配而确定的关系，其中所述几何匹配与置信区间(CI)相关联；并且

其中所述机器人基于所述关系在所述UI中的所述目标元素上执行所述活动。

10.根据权利要求9所述的方法，其中所述关系定义锚定按钮与所述标签或所述文本域之间的几何位置。

11.根据权利要求9所述的方法，其中所述捕获图像来自所述虚拟或远程机器环境的视频流。

12.根据权利要求9所述的方法，其中所述几何匹配包括所述UI的所述捕获图像中的一个或多个元素之间的角度或三角形布置。

13.根据权利要求9所述的方法，其中所述几何匹配基于ML模型。

14.根据权利要求9所述的方法，其中重新训练基于在所述UI的所述捕获图像中检测到的缺失元素而被执行。

15.根据权利要求9所述的方法，其中所述几何匹配基于所述UI的所述捕获图像中的元素的弹性或非弹性几何关系。

16.根据权利要求9所述的方法，其中所述两个或更多个锚点中的第一锚点被定位在第一按钮上，并且所述两个或更多个锚点中的第二锚点被定位在第二按钮上。