[发明专利]一种RPA系统中基于目标检测技术的UI元素拾取方法和系统

权利要求书

1.一种RPA系统中基于目标检测技术的UI元素拾取方法，其特征在于，包括如下步骤：

(1)获取用户界面窗口的截图；

(2)将步骤(1)中得到的用户界面窗口的截图输入训练好的UI元素目标检测模型，以拾取该用户界面窗口的截图中的UI元素。

2.根据权利要求1所述的RPA系统中基于目标检测技术的UI元素拾取方法，其特征在于，步骤(1)具体为，通过应用程序接口或者操作系统接口获取用户界面窗口的起始坐标与用户界面窗口的长宽，从而得到用户界面窗口的截图。

3.根据权利要求1或2所述的RPA系统中基于目标检测技术的UI元素拾取方法，其特征在于，

UI元素目标检测模型包括顺次连接的特征提取模块、特征聚合模块、以及特征预测模块。

特征提取模块采用CSPDarkNet53网络；

特征聚合模块包括特征金字塔池化SSP、以及路径聚合网络PANet。

特征预测模块采用YoloHead网络。

4.根据权利要求1至3中任意一项所述的RPA系统中基于目标检测技术的UI元素拾取方法，其特征在于，UI元素目标检测模型是通过以下步骤训练得到的：

(2-1)获取包含UI元素的用户界面窗口图像数据集，按照2:8的比例把该用户界面窗口图像数据集划分为测试集和训练集；

(2-2)将步骤(2-1)得到的训练集中的每个用户界面窗口图像输入UI元素目标检测模型中的特征提取模块，以得到三个不同尺寸的UI元素初级特征图，其尺寸分别是该用户界面窗口图像尺寸的1/8，1/16和1/32；

(2-3)对于步骤(2-2)获取的三个不同尺寸的UI元素初级特征图而言，将其输入UI元素目标检测模型中特征聚合模块的SSP网络，以得到三个固定尺寸的特征图，并将三个固定尺寸的特征图输入特征聚合模块的PANet网络，以得到UI元素融合特征图。

(2-4)将步骤(2-3)得到的UI元素融合特征图输入UI元素目标检测模型中的特征预测模块，以得到训练集中每个UI元素的预测类别和预测位置(该预测位置是该UI元素的预测边界框)，并将其分别与该UI元素的真实类别和真实位置进行对比，根据对比结果、并使用损失函数对UI元素目标检测模型进行迭代训练，直到该UI元素检测模型收敛为止，从而得到初步训练好的UI元素检测模型。

(2-5)使用步骤(2-1)得到的测试集对步骤(2-4)初步训练好的UI元素目标检测模型进行验证，直到得到的UI元素目标检测模型的检测精度达到最优为止，从而得到训练好的目标检测检测模型。

5.根据权利要求1至4中任意一项所述的RPA系统中基于目标检测技术的UI元素拾取方法，其特征在于，

损失函数包括回归框损失函数，置信度损失函数、以及分类损失函数；

置信度损失函数与分类损失函数都采用交叉熵函数，用于计算训练集中每一个UI元素的预测类别与真实类别的偏离值；

回归框损失函数采用CIoU函数，其用于计算训练集中每一个UI元素的预测位置(即边界框)与该UI元素的真实位置之间的差异程度。

6.根据权利要求5所述的RPA系统中基于目标检测技术的UI元素拾取方法，其特征在于，置信度损失函数的交叉熵函数为：

其中，O_j∈{0，1}，表示第j个UI元素的边界框内是否存在真实UI元素，0表示不存在，1表示存在。C_j表示第j个UI元素的边界框内存在UI元素的概率，其经过Sigmoid函数处理后变为其中N表示UI元素的预测位置的总数。

7.根据权利要求5所述的RPA系统中基于目标检测技术的UI元素拾取方法，其特征在于，

分类损失函数的交叉熵函数为：

其中O_ij∈{0，h}，表示第j个UI元素的边界框内中是否有第i类UI元素，0表示不存在，1表示存在。表示第j个UI元素边界框内存在第i类UI元素的概率，经过Sigmoid函数处理后为其中M表示UI元素的类别总数。