[发明专利]一种移动端用户界面动态元素定位方法及系统

权利要求书

1.一种移动端用户界面动态元素定位方法，其特征在于，包括：

截取满足预设数量的移动端用户界面的显示图像，作为训练图像；

将所述训练图像中各动态元素与类型名称的对应关系输入到YOLOV5算法模型；

通过所述训练图像对所述YOLOV5算法模型进行模型训练，并得到最终模型；

通过所述最终模型对待测试的移动端用户界面中的各动态元素进行定位，所述定位是指识别出图像中的各动态元素的类型名称、以及确定各动态元素在图像中的位置。

2.如权利要求1所述的移动端用户界面动态元素定位方法，其特征在于，所述通过训练图像对所述YOLOV5算法模型进行模型训练，并得到最终模型，包括：

将所述训练图像中各动态元素分别用黑色矩形色块遮盖；

将所述被黑色矩形色块遮盖的训练图像输入到所述YOLOV5算法模型，进行模型训练；

当模型训练的召回率和正确率均达到预设值时，导出最终模型。

3.如权利要求1或2所述的移动端用户界面动态元素定位方法，其特征在于，所述通过最终模型对移动端用户界面中的动态元素进行定位，包括：

从待测试的移动端用户界面截取当前图像，作为测试图像；

通过所述最终模型对所述测试图像中各动态元素进行定位。

4.如权利要求3所述的移动端用户界面动态元素定位方法，其特征在于，所述通过最终模型对所述测试图像中各动态元素进行定位，包括：

将所述测试图像中的各动态元素用黑色矩形色块遮盖；

将所述被黑色矩形色块遮盖的测试图像输入到所述最终模型；

对所述测试图像中的每一个动态元素分别进行定位。

5.如权利要求1所述的移动端用户界面动态元素定位方法，其特征在于，在将所述训练图像中各动态元素与类型名称的对应关系输入到YOLOV5算法模型之前，还包括：

为所述训练图像中的各动态元素指定类型名称。

6.一种移动端用户界面动态元素定位系统，其特征在于，包括：

训练图像获取单元，用于截取满足预设数量的移动端用户界面的显示图像，作为训练图像；

关联建立单元，用于将所述训练图像中各动态元素与类型名称的对应关系输入到YOLOV5算法模型；

模型训练单元，用于通过所述训练图像对所述YOLOV5算法模型进行模型训练，并得到最终模型；

定位单元，用于通过所述最终模型对待测试的移动端用户界面中的各动态元素进行定位，所述定位是指识别出图像中的各动态元素的类型名称、以及确定各动态元素在图像中的位置。

7.如权利要求6所述的移动端用户界面动态元素定位系统，其特征在于，所述模型训练单元具体用于：将所述训练图像中各动态元素分别用黑色矩形色块遮盖；将所述被黑色矩形色块遮盖的训练图像输入到所述YOLOV5算法模型，进行模型训练；当模型训练的召回率和正确率均达到预设值时，导出最终模型。

8.如权利要求6或7所述的移动端用户界面动态元素定位系统，其特征在于，所述定位单元包括：

测试图像获取模块，用于从待测试的移动端用户界面截取当前图像，作为测试图像；

定位模块，用于通过所述最终模型对所述测试图像中各动态元素进行定位。

9.如权利要求8所述的移动端用户界面动态元素定位系统，其特征在于，所述定位模块具体用于：将所述测试图像中的各动态元素用黑色矩形色块遮盖；将所述被黑色矩形色块遮盖的测试图像输入到所述最终模型；对所述测试图像中的每一个动态元素分别进行定位。

10.如权利要求6所述的移动端用户界面动态元素定位系统，其特征在于，所述系统还包括：

类型名称建立单元，用于为所述训练图像中的各动态元素指定类型名称，并提供给所述关联建立单元。