[发明专利]一种用户界面测试方法及装置

权利要求书

1.一种用户界面测试方法，其特征在于，包括：

第一终端建立自身安装的测试平台与第二终端中安装的待测试的应用的通信连接；

所述第一终端根据监测到的用户对所述测试平台的操作，从已存储的各测试用例中，获取用于用户界面测试的测试用例，所述测试用例中包含测试脚本；

所述第一终端通过运行获取的测试脚本中的测试事件，确定所述测试事件针对的界面元素的元素标识，作为第一标识；

所述第一终端通过与所述第二终端的通信连接，获取所述第二终端中运行的所述待测试的应用当前展示的用户界面，并确定所述当前展示的用户界面的图像；

所述第一终端将所述图像输入预先训练的元素识别模型，确定所述元素识别模型输出的用户界面中各界面元素的识别结果，所述界面元素的识别结果包含界面元素的元素区域中心位置、界面元素的元素类型以及界面元素的元素内容；

所述第一终端根据所述识别结果，确定所述用户界面中各界面元素的元素标识，作为第二标识，以及根据所述识别结果确定所述用户界面中各界面元素的坐标，所述元素标识至少包括元素类型以及元素内容中的一种；

所述第一终端将所述第一标识与各第二标识进行匹配，从各第二标识中确定与所述第一标识匹配的第二标识，确定所述匹配的第二标识对应的界面元素；

所述第一终端根据确定出的各界面元素的坐标，确定匹配得到的界面元素的坐标，并根据确定出的坐标执行所述测试事件，以根据所述测试事件的执行结果确定测试结果。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

当所述测试脚本中包含多个测试事件时，依次针对所述测试脚本中的每个测试事件，确定该测试事件针对的界面元素的元素标识，作为第一标识；

判断当前展示的用户界面与执行上一测试事件时展示的用户界面是否相同；

若是，则确定已经得到的各界面元素的第二标识，以进行所述第一标识与各第二标识的匹配；

若否，则重新获取所述应用当前展示的用户界面的图像，并将所述图像输入预先训练的元素识别模型，重新确定所述元素识别模型输出的用户界面中各界面元素的识别结果，重新确定所述用户界面中各界面元素的各第二标识，以根据所述第一标识与重新确定出的各第二标识进行匹配。

3.如权利要求1所述的方法，其特征在于，所述预先训练的元素识别模型至少包括：语义分割分支模型以及光学字符识别分支模型；

所述第一终端将所述图像输入预先训练的元素识别模型，确定所述元素识别模型输出的用户界面中各界面元素的识别结果，具体包括：

所述第一终端将所述图像输入所述语义分割分支模型中，确定所述语义分割分支模型输出的用户界面中各界面元素的元素区域以及各界面元素的元素类型；

将确定出的所述用户界面中各界面元素的元素区域的图像输入所述光学字符识别分支模型中，确定所述光学字符识别分支模型输出的用户界面中各界面元素的元素内容；

根据所述图像中各界面元素的元素区域中心位置、各界面元素的元素类型以及各界面元素的元素内容，确定识别结果。

4.如权利要求3所述的方法，其特征在于，根据所述识别结果确定所述用户界面中各界面元素的坐标，具体包括：

针对所述用户界面中每个界面元素，根据所述识别结果中该界面元素的元素区域中心位置，确定所述中心位置在所述用户界面中的坐标，作为该界面元素的坐标。

5.如权利要求1所述的方法，其特征在于，所述第一终端将所述第一标识与各第二标识进行匹配，从各第二标识中确定与所述第一标识匹配的第二标识，确定所述匹配的第二标识对应的界面元素，具体包括：

所述第一终端将所述第一标识中的元素类型与各第二标识中的元素类型进行匹配，从各第二标识中确定与所述第一标识的元素类型匹配的各第二标识；

将所述第一标识中的元素内容与匹配得到的各第二标识的元素内容进行匹配，从匹配得到的各第二标识中确定与所述第一标识的元素内容匹配的第二标识，确定所述匹配的第二标识对应的界面元素。