[发明专利]结合RPA和AI的软件界面元素的识别方法与装置

权利要求书

1.一种结合RPA和AI的软件界面元素的识别方法，其特征在于，包括：

提取当前软件界面中的界面元素；

基于目标元素的结构模式及所述界面元素，进行相似度运算；

根据相似度运算结果，确定所述目标元素在当前软件界面上的分布信息。

2.根据权利要求1所述的方法，其特征在于，所述提取当前软件界面中的界面元素，包括：

截取当前软件界面的界面图像；

通过光学字符识别OCR技术，或者预先训练的深度学习模型，从所述界面图像中提取出所有界面元素。

3.根据权利要求1所述的方法，其特征在于，所述结构模式，包括：目标元素及结构元素组成的基元集合；以及基元集合中各元素两两之间的位置关系的位置关系集合。

4.根据权利要求3所述的方法，其特征在于，所述基于目标元素的结构模式及所述界面元素，进行相似度运算，包括：

根据所述基元集合，确定当前软件界面中的所有近似基元集合；

对各近似基元集合，基于所述基元集合中各元素与所述基元集合中各元素的相似度，得到各近似基元集合的第一相似度集合；

基于各近似基元集合中两两元素之间的位置关系，与所述基元集合中对应的两两元素之间的位置关系的相似度，确定各近似基元集合的第二相似度；

基于所述第一相似度集合及所述第二相似度，确定所述基元集合与各近似基元集合的总相似度。

5.根据权利要求4所述的方法，其特征在于，所述根据所述基元集合，确定当前软件界面中的所有近似基元集合，包括：

查找与所述基元集合中的目标元素匹配的界面元素，构成目标元素对应的第一界面元素集合；

分别查找与所述基元集合中的各个结构元素匹配的界面元素，构成各个结构元素对应的第二界面元素集合；其中，所述基元集合中的每个结构元素对应一个独立的第二界面元素集合；

分别从所述第一界面元素集合以及各个第二界面元素集合中任取一个界面元素，构成所述近似基元集合。

6.根据权利要求4所述的方法，其特征在于，所述对各近似基元集合，基于各元素与所述基元集合中各元素的相似度，得到各近似基元集合的第一相似度集合，包括：

获取所述近似基元集合中第一界面元素与所述基元集合中目标元素的相似度，以及所述近似基元集合中各个第二界面元素与所述基元集合中对应的各个结构元素的相似度，得到所述近似基元集合的第一相似度集合。

7.根据权利要求4所述的方法，其特征在于，所述基于各近似基元集合中两两元素之间的位置关系，与所述基元集合中对应的两两元素之间的位置关系的相似度，确定各近似基元集合的第二相似度，包括：

对所述基元集合中的元素进行两两组合，该组合构成所述基元集合的子模式集；

对各近似基元集合中的元素进行两两组合，该组合构成所述近似基元集合的子模式集合；

计算所述近似基元集合的子模式集合中各个元素与所述基元集合的子模式集合中各个元素之间的相似度，得到各近似基元集合的第二相似度集合。

8.根据权利要求4所述的方法，其特征在于，所述根据相似度运算结果，确定所述目标元素在当前软件界面上的分布信息，包括：

选取总相似度最大的近似基元集合作为候选集合；

若所述候选集合的总相似度大于预设阈值，则根据所述候选集合中界面元素的位置关系，确定所述目标元素在当前软件界面上的分布信息。

9.根据权利要求1-8中任一项所述的方法，其特征在于，所述根据相似度运算结果，确定所述目标元素在当前软件界面上的分布信息之后，还包括：

根据所述分布信息，执行对所述目标元素的访问操作。

10.根据权利要求1-8中任一项所述的方法，其特征在于，所述基于目标元素的结构模式及所述界面元素，进行相似度运算，还包括：

将所述目标元素对应的结构模式与所述当前软件界面中各个界面元素对应的结构模式进行相似度匹配运算。