[发明专利]一种用户界面图像中功能区域的识别方法及装置

说明书

本公开提供了一种用户界面图像中功能区域的识别方法及装置，包括：对待检测用户界面图像对应的二值图像进行分割处理，得到至少一个封闭区域所构成的分割图像，所述分割图像的背景灰度等级为所述二值图像中最低灰度等级；将对应的尺寸信息符合预设条件的所述分割图像确定为目标分割图像；对所述目标分割图像进行像素反转处理，将所述目标分割图像转换为以背景灰度等级为所述二值图像中最高灰度等级的图像；基于经过像素反转处理后的所述目标分割图像，确定出所述待检测用户界面图像中的功能区域。

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种用户界面图像中功能区域的识别方法及装置。

背景技术

目前，各种应用软件在开发过程中需要对各个应用界面进行测试，以确定各个应用界面的功能的可用性。为提高测试效率，人们开始采用各种测试工具，来模拟用户的各种点击操作。

测试工具在测试过程中，需要首先识别出用户界面的各个功能区域(比如文本区域、图片区域、控件区域等)，然后再对各个功能区域进行模拟点击操作，相关技术中，有些应用软件的用户界面并未提供测试接口，从而使得测试工具无法通过后端代码识别该用户界面中的各个功能区域，从而无法进行测试。

相关技术中，对于为提供测试接口的用户界面，可以通过图像识别的方法，识别用户界面图像中的各个功能区域，但是在识别过程中，仅能识别以浅色(如白色)为背景的用户界面图像，对于包含多种深色背景颜色(如黑色)的用户界面图像，识别精度较低。

发明内容

本公开实施例至少提供一种用户界面图像中功能区域的识别方法及装置。

第一方面，本公开实施例提供了一种用户界面图像中功能区域的识别方法，包括：

对待检测用户界面图像对应的二值图像进行分割处理，得到至少一个封闭区域所构成的分割图像，所述分割图像的背景灰度等级为所述二值图像中最低灰度等级；

将对应的尺寸信息符合预设条件的所述分割图像确定为目标分割图像；

对所述目标分割图像进行像素反转处理，将所述目标分割图像转换为以背景灰度等级为所述二值图像中最高灰度等级的图像；

基于经过像素反转处理后的所述目标分割图像，确定出所述待检测用户界面图像中的功能区域。

一种可能的实施方式中，所述将对应的尺寸信息符合预设条件的所述分割图像确定为目标分割图像，包括：

针对每一个所述分割图像，确定该分割图像与待检测用户界面图像的尺寸比值；

将对应的所述尺寸比值大于第一设定值的分割图像确定为所述目标分割图像。

一种可能的实施方式中，所述方法还包括：

确定所述二值图像中最高灰度值的像素点形成的封闭区域，作为第一封闭区域；

确定所述二值图像中最低灰度值的像素点形成的封闭区域，作为第二封闭区域；

当所述第一封闭区域与所述第二封闭区域之间的相对位置关系满足预设条件时，根据所述第一封闭区域确定所述待检测用户界面图像中的功能区域。

一种可能的实施方式中，所述基于经过像素反转处理后的所述目标分割图像，确定出所述待检测用户界面图像中的功能区域，包括：

针对每一个所述目标分割图像，根据该目标分割图像中各个像素点的位置，以及各个像素点的像素值，对所述目标分割图像中的像素点进行聚合处理，并根据聚合结果，确定所述待检测用户界面图像中的功能区域。

一种可能的实施方式中，在基于经过像素反转处理后的所述目标分割图像，确定出所述待检测用户界面图像中的功能区域之后，所述方法还包括：

识别所述功能区域的类别信息；