[发明专利]结合RPA与AI的软件界面元素的匹配方法及装置

说明书

本公开提供一种结合RPA与AI的软件界面元素的匹配方法及装置。本实施例提供的软件界面元素的匹配方法，包括通过采用OCR技术提取当前软件界面中的界面元素；将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配，得到所述目标元素在当前软件界面上的分布信息；根据所述分布信息，执行对所述目标元素的访问操作。从而可以提升机器人流程自动化过程中对软件界面上的界面元素的匹配准确度，实现方式简单，效果稳定可靠。

技术领域

本公开涉及自动化技术领域，具体涉及RPA(Robotic Process Automation，机器人流程自动化)、AI(Artificial Intelligence，人工智能)，尤其涉及一种结合RPA与AI的软件界面元素的匹配方法及装置。

背景技术

在机器人流程自动化(Robotic Process Automation，RPA)领域，为了实现流程的自动化，软件机器人需要经常访问软件界面上的控件元素(简称界面元素)，并针对这些界面元素进行操作，以执行相应的操作任务。

人工智能(Artificial Intelligence，简称AI)是研究、开发用于模拟、延伸和扩展人智能的理论、方法、技术及应用系统的一门新技术科学。人工智能领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

现有技术中，为了保证自动化流程的准确性，软件机器人在运行流程时，需要精准地匹配目标元素的位置并对其进行自动化操作。在远程桌面或虚拟机等应用场景，一般是通过计算机视觉的技术检测界面元素，并提取其特征属性作为在流程运行时界面元素的匹配依据。

然而，这种匹配方式并不稳定，很容易导致目标元素匹配错误或匹配失败，使得自动化流程的准确度低下。

发明内容

本公开提供一种结合RPA与AI的软件界面元素的匹配方法及装置，可以提升机器人流程自动化过程中对软件界面上的界面元素的匹配准确度，实现方式简单，效果稳定可靠。

第一方面，本公开提供一种结合RPA与AI的软件界面元素的匹配方法，包括：

采用光学字符识别(Optical Character Recognition，OCR)技术提取当前软件界面中的界面元素；

将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配，得到所述目标元素在当前软件界面上的分布信息；

根据所述分布信息，执行对所述目标元素的访问操作。

在一种可能的设计中，所述采用OCR技术提取当前软件界面中的界面元素，包括：

截取当前软件界面的界面图像；

通过光学字符识别OCR技术，或者预先训练的深度学习模型，从所述界面图像中提取出所有界面元素。

在一种可能的设计中，将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配，得到所述目标元素在当前软件界面上的分布信息，包括：

根据第一锚点元素对应的类别信息、位置信息、文本信息，从所述当前软件界面中的查找与所述第一锚点元素匹配的第二锚点元素；

根据所述目标元素与所述第一锚点元素之间的位置关系，以及所述第二锚点元素在所述当前软件界面中的位置，确定所述目标元素在当前软件界面上的分布信息；所述分布信息包括：目标元素的至少一个形状点的坐标信息、目标元素的尺寸信息；其中，所述形状点用于界定所述目标元素包含的区域。

在一种可能的设计中，在将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配之前，还包括：

截取模板软件界面的界面图像；