[发明专利]用户界面测试方法及相关装置

说明书

本申请提供一种用户界面测试方法及相关装置，属于用户界面测试技术领域。该方法可以包括：将受测试应用的用户界面图像输入界面识别模型进行界面解析，得到所述用户界面图像的页面标识及多标签描述所述用户界面图像上控件元素的属性信息，所述界面识别模型是适配于所述受测试应用生成的多标签识别模型；根据所述页面标识及所述属性信息，获取所述用户界面图像的跳转逻辑信息；根据所述控件元素、所述页面标识及所述跳转逻辑信息为所述受测试应用生成用户界面测试用例，所述用户界面测试用例用于执行所述受测试应用的用户界面测试。本申请的实施例有效提升用户界面测试效率及可靠性。

技术领域

本申请涉及用户界面测试技术领域，具体而言，涉及一种用户界面测试方法及相关装置。

背景技术

用户界面测试简称UI测试，用于测试用户界面的功能模块的布局是否合理，整体风格是否一致和各个控件的放置位置是否符合客户使用习惯等。通过用户界面测试可以确保用户界面向用户提供了适当的访问和浏览测试对象功能的操作。

目前，一些用户界面测试技术可以通过机器学习技术智能选择后续的测试用例执行测试，而用例生成需要较高人工成本；还有一些用户界面测试技术可以基于深度学习的用户界面自动化框架，但用户界面图像解析的可扩展性较低，不能够有效解析用户界面图像，也无法自动、准确生成测试用例。因此，现有技术中，存在不能够有效解析用户界面图像，无法自动、准确生成用户界面测试用例的缺陷，导致用户界面测试效率及可靠性较低。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请实施例的目的在于提供一种用户界面测试方法及装置，其能够有效解析用户界面图像，自动、准确生成用户界面测试用例，进而有效提升用户界面测试效率及可靠性。

根据本申请的一个实施例，一种用户界面测试方法可以包括：将受测试应用的用户界面图像输入界面识别模型进行界面解析，得到所述用户界面图像的页面标识及多标签描述所述用户界面图像上控件元素的属性信息，所述界面识别模型是适配于所述受测试应用生成的多标签识别模型；根据所述页面标识及所述属性信息，获取所述用户界面图像的跳转逻辑信息；根据所述控件元素、所述页面标识及所述跳转逻辑信息为所述受测试应用生成用户界面测试用例，所述用户界面测试用例用于执行所述受测试应用的用户界面测试。

根据本申请的另一实施例，一种用户界面测试装置可以包括：识别模块，用于将受测试应用的用户界面图像输入界面识别模型进行界面解析，得到所述用户界面图像的页面标识及多标签描述所述用户界面图像上控件元素的属性信息，所述界面识别模型是适配于所述受测试应用生成的多标签识别模型；获取模块，用于根据所述页面标识及所述属性信息，获取所述用户界面图像的跳转逻辑信息；生成模块，用于根据所述控件元素、所述页面标识及所述跳转逻辑信息为所述受测试应用生成用户界面测试用例，所述用户界面测试用例用于执行所述受测试应用的用户界面测试。

在本申请的一些实施例中，所述识别模块被配置为：通过深度学习网络子模型对所述用户界面图像进行区域检测，得到所述用户界面图像上控件元素区域的位置信息；按照所述位置信息对所述控件元素区域进行文字识别和/或特征图像匹配，识别出所述控件元素区域所对应控件元素的名称信息及类型信息；通过对所述用户界面图像进行特征图像匹配，得到所匹配图像模板对应的页面标识；以所述图像模板所对应的页面标识作为所述用户界面图像的页面标识，所述控件元素区域的位置信息、所述控件元素区域所对应控件元素的名称信息及类型信息，作为所述控件元素的属性信息。