[发明专利]结合RPA与AI的软件界面元素的匹配方法及装置

权利要求书

1.一种结合RPA与AI的软件界面元素的匹配方法，其特征在于，包括：

采用光学字符识别(OpticalCharacter Recognition，OCR)技术提取当前软件界面中的界面元素；

将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配，得到所述目标元素在当前软件界面上的分布信息；

根据所述分布信息，执行对所述目标元素的访问操作。

2.根据权利要求1所述的方法，其特征在于，所述采用OCR技术提取当前软件界面中的界面元素，包括：

截取当前软件界面的界面图像；

通过光学字符识别OCR技术，或者预先训练的深度学习模型，从所述界面图像中提取出所有界面元素。

3.根据权利要求1所述的方法，其特征在于，将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配，得到所述目标元素在当前软件界面上的分布信息，包括：

根据第一锚点元素对应的类别信息、位置信息、文本信息，从所述当前软件界面中的查找与所述第一锚点元素匹配的第二锚点元素；

根据所述目标元素与所述第一锚点元素之间的位置关系，以及所述第二锚点元素在所述当前软件界面中的位置，确定所述目标元素在当前软件界面上的分布信息；所述分布信息包括：目标元素的至少一个形状点的坐标信息、目标元素的尺寸信息；其中，所述形状点用于界定所述目标元素包含的区域。

4.根据权利要求3所述的方法，其特征在于，在将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配之前，还包括：

截取模板软件界面的界面图像；

通过光学字符识别OCR技术，或者预先训练的深度学习模型，从所述模板软件界面的界面图像中提取出所有界面元素作为候选元素；

从所述候选元素中选取目标元素，以及与所述目标元素关联的第一锚点元素；其中，所述第一锚点元素包括：形态不变的图标元素、文本元素、按键元素中的任一或任多项元素；

根据所述目标元素和所述第一锚点元素，生成所述目标元素的特征信息；所述目标元素的特征信息包括：所述目标元素与所述第一锚点元素之间的位置关系，以及所述第一锚点元素对应的类别信息、位置信息、文本信息。

5.根据权利要求1-4中任一项所述的方法，其特征在于，在根据所述分布信息，执行对所述目标元素的访问操作之前，还包括：

将所述分布信息对应的区域和当前软件界面中的界面元素进行重叠度检测，得到重叠阈值；

若所述重叠阈值大于预设值，则执行对目标元素的访问。

6.根据权利要求5所述的方法，其特征在于，还包括：

若所述重叠阈值不大于预设值，则确定所述目标元素无效，反馈匹配失败提示信息。

7.一种结合RPA与AI的软件界面元素的匹配装置，其特征在于，包括：

提取模块，用于采用光学字符识别(Optical Character Recognition，OCR)技术提取当前软件界面中的界面元素；

匹配模块，用于将目标元素的特征信息与所述当前软件界面中的界面元素进行匹配，得到所述目标元素在当前软件界面上的分布信息；

执行模块，用于根据所述分布信息，执行对所述目标元素的访问操作。

8.根据权利要求7所述的装置，其特征在于，所述提取模块，具体用于：

截取当前软件界面的界面图像；

通过光学字符识别OCR技术，或者预先训练的深度学习模型，从所述界面图像中提取出所有界面元素。