[发明专利]GUI控件的识别方法和装置

权利要求书

1.一种GUI控件的识别方法，所述GUI控件的属性信息被预先录制并具有唯一标识，所述属性信息包括：GUI控件的父窗口的标题和/或类名，GUI控件相对于父窗口的位置坐标以及GUI控件对应的第一图像；其中，所述GUI控件为非标准控件，且所述GUI控件的父窗口为可识别的标准控件；

所述方法包括：

预先录制所述GUI控件的属性信息，具体包括：将鼠标移动到所述GUI控件上，指定图像半径后，捕获鼠标相对于父窗口的坐标作为所述GUI控件相对于父窗口的位置坐标，截取以鼠标位置为中心，图像半径范围内的图像作为所述第一图像；

根据属性信息中的父窗口标题和/或父窗口类名查找GUI控件所在的父窗口；

根据GUI控件相对于父窗口的位置坐标，截取预设尺寸和位置的第二图像；

计算所述第二图像与第一图像之间的相似度并根据所述相似度对所述GUI控件进行识别。

2.根据权利要求1所述的方法，其中，预先录制的所述属性信息还包括：GUI控件对应的图像半径；

所述GUI控件对应的第一图像是以所述GUI控件相对于父窗口的位置坐标为中心，以GUI控件对应的图像半径为半径确定的图形区域内的图像；

所述根据GUI控件相对于父窗口的位置坐标截取预设尺寸和位置的第二图像进一步为：

根据所述GUI控件相对于父窗口的位置坐标，截取以所述GUI控件相对于父窗口的位置坐标为中心，以GUI控件对应的图像半径为半径的图形区域内的第二图像。

3.根据权利要求1所述的方法，其中，所述计算所述第二图像与第一图像之间的相似度并根据所述相似度对所述GUI控件进行识别进一步包括：

利用感知哈希算法为第一图像和第二图像分别生成指纹字符串；

根据所述指纹字符串计算所述第二图像与第一图像之间的相似度；

若所述相似度大于预设阈值，将第二图像区域识别为GUI控件。

4.根据权利要求2所述的方法，其中，所述计算所述第二图像与第一图像之间的相似度并根据所述相似度对所述GUI控件进行识别进一步包括：

利用感知哈希算法为第一图像和第二图像分别生成指纹字符串；

根据所述指纹字符串计算所述第二图像与第一图像之间的相似度；

若所述相似度大于预设阈值，将第二图像区域识别为GUI控件。

5.根据权利要求1-4任一项所述的方法，其中，所述方法还包括：

预先设置一个或多个导出接口，将GUI控件的识别过程封装在所述一个或多个导出接口中，或者，将GUI控件的识别过程和对GUI控件的预设操作逻辑封装在所述一个或多个导出接口中；

其中，封装所述GUI控件的识别过程的导出接口用于接收GUI控件的标识参数，根据预先录制的GUI控件的属性信息识别GUI控件；

封装所述GUI控件的识别过程和对GUI控件的预设操作逻辑的导出接口用于接收GUI控件的标识参数和GUI控件的预设操作参数，根据预先录制的GUI控件的属性信息识别GUI控件并执行对GUI控件的预设操作。

6.根据权利要求5所述的方法，其中，所述导出接口包括：

第一导出接口，用于接收GUI控件的标识参数，根据预先录制的GUI控件的属性信息识别GUI控件；

第二导出接口，接收第一GUI控件标识参数，第二GUI控件标识参数以及第一GUI控件的预设操作参数以识别第一GUI控件并对第一GUI控件执行相应的操作直到在父窗口中识别到第二GUI控件；

第三导出接口，接收GUI控件标识参数和预设操作参数以识别并对GUI控件执行相应的操作直到实现目标窗口。

7.根据权利要求6所述的方法，其中，所述方法还包括：

根据预定的GUI测试过程，向所述导出接口传递GUI控件的标识参数和/或GUI控件的预设操作参数，通过调用所述导出接口编写测试用例；所述导出接口在一个测试用例中执行GUI测试步骤，对一个或多个GUI控件进行自动测试；

执行所述编写的测试用例。

8.根据权利要求7所述的方法，其中，所述导出接口还接收超时参数，指定调用该导出接口的测试步骤的最长执行时间。