[发明专利]矩形控件识别方法、装置、终端及存储介质

说明书

一种矩形控件识别方法，应用于终端，所述方法包括：在获取包括一个或多个子轮廓的轮廓后，确定每个子轮廓的特征点及每个子轮廓中所有特征点的坐标；确定所有子轮廓中的待识别矩形控件；生成所述待识别矩形控件的区域的特征信息；将所述待识别矩形控件的区域的特征信息与预存的控件标识图的特征信息进行相似度比较来得到一个或多个相似度；根据相似度确定是否识别所述待识别矩形控件，并识别所述待识别矩形控件。本发明还提供一种装置、终端及存储介质，通用性较强，且控件识别准确率较高。

技术领域

本发明涉及软件技术领域，具体涉及一种矩形控件识别方法、装置、终端及存储介质。

背景技术

目前，软件自动化测试主要是采用录制-回放的方式进行测试。首先，将用户与软件的交互过程录制成脚本，回放所述脚本来模拟人机交互过程，自动完成测试。其中，在用户与软件的交互过程中，图形用户界面的控件识别为最重要的一环。

现有的图形用户界面的控件识别方法包括通过windows系统的win32API函数获取控件信息，基于源代码中插入代码来获取控件信息，基于控件树布局结构，通过借助GUI识别工具来获取控件信息等。这些方法需要依赖系统的接口函数、对源代码的修改，或者系统的工具等，通用性不强，同时控件识别准确率较低，不利于广泛应用。

发明内容

鉴于此，有必要提供一种矩形控件识别方法、装置、终端及存储介质，通用性较强，且控件识别准确率较高。

一种矩形控件识别方法，应用于终端，所述方法包括：

获取轮廓，其中，所述轮廓包括一个或多个子轮廓；

根据三角形边长关系确定每个子轮廓的特征点及每个子轮廓中所有特征点的坐标；

根据每个子轮廓的特征点的坐标确定满足预设条件的子轮廓为待识别矩形控件来确定所有子轮廓中的待识别矩形控件；

对所述待识别矩形控件的一区域进行截取得到的一区域图像进行像素值二值化，生成所述待识别矩形控件的区域的特征信息；

将所述待识别矩形控件的区域的特征信息与预存的控件标识图的特征信息进行相似度比较来得到一个或多个相似度；

若所述一个或多个相似度中存在一个相似度满足预设条件，识别所述待识别矩形控件；

若任何相似度不满足预设条件，继续对所述待识别矩形控件的另一区域进行截取得到的另一区域图像进行像素值二值化，生成特征信息并进行相似度比较直至生成的所述特征信息与预存的控件标识图的特征信息的一个或多个相似度中存在一个相似度满足预设条件，或者所述待识别矩形控件的所有区域进行截取得到的所有区域图像完成相似度比较；

若所述待识别矩形控件的所有区域图像比较得到的相似度都不满足预设条件，确定所述待识别矩形控件识别失败。

较佳的，所述根据三角形边长关系确定每个子轮廓的特征点及每个子轮廓中所有特征点的坐标包括：