[发明专利]用于测试用户界面的方法和装置

说明书

本申请实施例公开了用于测试用户界面的方法和装置。该方法的一具体实施方式包括：获取待测试用户界面的截图；确定待测试用户界面的截图是否满足预设条件；响应于确定满足预设条件，将待测试用户界面的截图输入至预先训练的全局测试模型，得到与待测试用户界面对应的全局测试结果；以及从待测试用户界面的截图中分割出至少一个局部区域，将所分割出的至少一个局部区域输入至预先训练的局部测试模型，得到与待测试用户界面对应的局部测试结果。该实施方式利用深度学习方法，结合全局测试模型和局部测试模型对用户界面进行测试，不需要测试人员人工判断，不仅节省了人力成本，还提高了对用户界面的测试效率。

技术领域

本申请实施例涉及计算机技术领域，具体涉及用于测试用户界面的方法和装置。

背景技术

UI(User Interface，用户界面)泛指用户的操作界面，包含移动应用，网页，智能穿戴设备等。UI设计主要指界面的样式，美观程度。好的UI不仅是让软件变得有个性有品味，还要让软件的操作变得舒适、简单、自由，充分体现软件的定位和特点。

通过对UI进行测试可以快速地确定UI中是否存在缺陷。现有的UI测试方式通常依赖于测试人员的人工判断，主要有以下两种方式：第一，通过人工判断UI中是否存在特定的元素，来确定UI中是否存在缺陷；第二，预先设置预期参照图，截取UI的截图与预期参照图进行对比，根据对比结果来确定UI中是否存在缺陷。

发明内容

本申请实施例提出了用于测试用户界面的方法和装置。

第一方面，本申请实施例提供了一种用于测试用户界面的方法，该方法包括：获取待测试用户界面的截图；确定待测试用户界面的截图是否满足预设条件；响应于确定满足预设条件，将待测试用户界面的截图输入至全局测试模型，得到与待测试用户界面对应的全局测试结果；以及从待测试用户界面的截图中分割出至少一个局部区域，将所分割出的至少一个局部区域输入至预先训练的局部测试模型，得到与待测试用户界面对应的局部测试结果，其中，每个局部区域中包括一个字符串。

在一些实施例中，确定待测试用户界面的截图是否满足预设条件，包括：执行以下至少一项操作：利用光学字符识别OCR技术识别出待测试用户界面的截图中的至少一个字符串，以及将所识别出的至少一个字符串在预设错误字符串集合中进行匹配；利用颜色模型确定待测试用户界面的截图所包括的颜色种类；基于以上至少一项操作的结果，确定待测试用户界面的截图是否满足预设条件，其中，预设条件包括以下至少一项：字符串在预设错误字符串集合中匹配不成功、颜色种类的数目大于预设数目。

在一些实施例中，从待测试用户界面的截图中分割出至少一个局部区域，包括：获取待测试用户界面的文档对象模型DOM，其中，待测试用户界面的DOM中包括至少一个第一局部区域的位置信息，其中，每个第一局部区域中包括一个字符串；根据至少一个第一局部区域的位置信息的指示，从待测试用户界面的截图中分割出至少一个第一局部区域，作为至少一个局部区域。

在一些实施例中，待测试用户界面的DOM中还包括至少一个第二局部区域的位置信息，其中，每个第二局部区域中包括多个字符串；以及从待测试用户界面的截图中分割出至少一个局部区域，还包括：根据至少一个第二局部区域的位置信息的指示，从待测试用户界面的截图中分割出至少一个第二局部区域；对于至少一个第二局部区域中的每个第二局部区域，利用OCR技术识别出该第二局部区域中的多个字符串，以及从该第二局部区域中分割出所识别出的多个字符串中的每个字符串所在的区域，作为多个局部区域。

在一些实施例中，全局测试结果包括全局类型和与全局类型对应的区域的位置信息，局部测试结果包括局部类型和与局部类型对应的区域的位置信息。

在一些实施例中，全局类型包括以下至少一项：全局正常类型、全局留空类型、全局键盘异常类型，局部类型包括以下至少一项：字符正常类型、字符重叠类型、字符背景过渡异常类型、字符边缘遮挡类型。