[发明专利]用户界面测试方法及相关装置

权利要求书

1.一种用户界面测试方法，其特征在于，包括：

将受测试应用的用户界面图像输入界面识别模型进行界面解析，得到所述用户界面图像的页面标识及多标签描述所述用户界面图像上控件元素的属性信息，所述界面识别模型是适配于所述受测试应用生成的多标签识别模型；

根据所述页面标识及所述属性信息，获取所述用户界面图像的跳转逻辑信息；

根据所述控件元素、所述页面标识及所述跳转逻辑信息为所述受测试应用生成用户界面测试用例，所述用户界面测试用例用于执行所述受测试应用的用户界面测试；

其中，所述根据所述页面标识及所述属性信息，获取所述用户界面图像的跳转逻辑信息，包括：

接收Web页面上通过Web图形工具驱动，根据所述页面标识对应的页面模型的链接操作，生成的所述用户界面图像的跳转逻辑信息；

其中，所述页面模型中包括具有所述属性信息的标签的抽象控件元素，所述用户界面图像的跳转逻辑信息包括在Web页面上通过Web图形工具驱动，通过不同页面模型及抽象控件元素的链接操作定义的控件元素的名称信息与不同页面标识的关联关系、控件元素的数据字典中的跳转条件、以及控件元素的类型信息与不同用户界面操作的对应关系。

2.根据权利要求1所述的方法，其特征在于，所述将受测试应用的用户界面图像输入界面识别模型进行界面解析，得到所述用户界面图像的页面标识及所述用户界面图像上控件元素的属性信息，包括：

通过深度学习网络子模型对所述用户界面图像进行区域检测，得到所述用户界面图像上控件元素区域的位置信息；

按照所述位置信息对所述控件元素区域进行文字识别和/或特征图像匹配，识别出所述控件元素区域所对应控件元素的名称信息及类型信息；

通过对所述用户界面图像进行特征图像匹配，得到所匹配图像模板对应的页面标识；

以所述图像模板所对应的页面标识作为所述用户界面图像的页面标识，所述控件元素区域的位置信息、所述控件元素区域所对应控件元素的名称信息及类型信息，作为所述控件元素的属性信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述页面标识及所述属性信息，获取所述用户界面图像的跳转逻辑信息，包括：

根据所定义控件元素的名称信息与页面标识的映射关系，获取所述用户界面图像上控件元素的名称信息与页面标识之间的关联关系；

根据所定义控件元素的数据字典中的跳转条件信息，确定所述用户界面图像上控件元素对应的跳转条件，所述跳转条件控制所述控件元素至所关联用户界面图像跳转的条件；

根据所定义控件元素的类型信息与用户界面操作的映射关系，获取所述用户界面图像上控件元素的类型信息与用户界面操作的对应关系；

将获取到的所述控件元素的名称信息与页面标识之间的关联关系、所述控件元素对应的跳转条件及所述控件元素的类型信息与用户界面操作的对应关系，确定为所述用户界面图像的跳转逻辑信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述控件元素、所述页面标识及所述跳转逻辑信息为所述受测试应用生成用户界面测试用例，包括：

根据所述控件元素的名称信息与页面标识之间的关联关系_，确定所述用户界面图像上目标控件元素对应的目标页面标识，将所述目标页面标识对应的用户界面图像作为用户界面测试用例中用例操作的跳转目标；

根据所述控件元素的类型信息与用户界面操作的对应关系_，确定所述目标控件元素对应的目标用户界面操作，将所述目标用户界面操作作为用户界面测试用例的用例操作；

根据所述用户界面图像上控件元素对应的跳转条件，确定所述目标控件元素对应的目标跳转条件，将所述目标跳转条件作为用户界面测试用例中的前置条件；

以所述目标控件元素为用例操作对象，对确定出的所述目标控件元素对应的所述跳转目标、所述用例操作及所述前置条件生成所述用户界面测试用例。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述属性信息确定所述用户界面测试用例的用例操作位置，所述用户界面测试用例根据所述用例操作位置操作用户界面完成用户界面测试。