[发明专利]RPA元素拾取同屏切换方法及系统

权利要求书

1.RPA元素拾取同屏切换方法，其特征在于，包括如下步骤；

S1，用户根据提示选择元素拾取方式；

S2，用户将鼠标移至特定的软件界面；

S3，通过窗口句柄的方式获取界面相关信息和界面截图，并将界面相关信息和界面截图进行传送和解析；

S4，对界面截图进行转发，并判断是否超过指定的时间T；若不超时则继续等待算法结果返回；若超时则返回步骤S2并给用户对应提示进行重新选择；

S5，界面截图由经过优化的深度学习目标检测模型进行算法解析处理,获得算法解析结果；

S6，将获得的算法解析结果经过封装后，以蒙层的方式在软件界面上展示，供用户选择要拾取的元素；

S7，判断用户的操作模式，若是热键+鼠标点击，则表示用户要选中对应元素，并进行下一步骤；若否，则表示用户仅正常操作页面并返回步骤S2；

S8，用户选中对应元素后，再次高亮展示所拾取的元素，用户确认无误后完成拾取；

步骤S4包括如下步骤：

S41，获取并转发界面截图，并判断转发时间是否超过指定的时间T；若超时，则丢弃当前界面截图并重新计时；若不超过，则对界面截图进行算法解析计算；

步骤S5包括如下步骤：

S51，判断对界面截图进行算法解析计算的时间是否超过指定的时间T；若超时，则丢弃当前算法解析计算结果并重新计时；若不超过，则返回算法解析计算结果；

步骤S5中，所述深度学习目标检测模型采用二阶段或一阶段目标检测网络；所述深度学习目标检测模型的优化具体为：

将大计算量的深度神经网络架构进行重新调整或使用轻量级的网络进行结果拟合，并对网络中的浮点型操作转化为整数型操作。

2.根据权利要求1所述的RPA元素拾取同屏切换方法，其特征在于，步骤S1中，所述元素拾取方式包括普通拾取和智能拾取；

所述普通拾取为基于操作系统指令和源码解析的拾取方式；

所述智能拾取为基于深度学习的CV拾取方式。

3.根据权利要求1所述的RPA元素拾取同屏切换方法，其特征在于，步骤S3包括如下步骤：

S31，根据鼠标移动的位置，获取当前用户所要进一步操作的软件界面，并通过当前软件界面的窗口句柄，映射到具体窗体对象，获得窗体的详细信息；

其中，所述窗体的详细信息包括窗体位置、图标和菜单；

S32，对当前软件界面进行截图，并获取界面截图图像，传递界面截图图像并返回算法解析结果。

4.RPA元素拾取同屏切换系统，用于实现权利要求1-3任一项所述的RPA元素拾取同屏切换方法，其特征在于，所述RPA元素拾取同屏切换系统包括；

前端展示模块，用于作为切换元素拾取方法的展示载体；用于对当前软件界面进行截图；用于对算法解析后的结果在当前软件界面进行展示；

后端处理模块，用于通过窗口句柄的方式获取界面相关信息和界面截图；用于将整个持续的元素拾取过程，分片为长度为T的小段；用于将获得的算法解析结果经过封装后，以蒙层的方式在软件界面上展示；用于判断用户是正常操作页面还是拾取元素；用于完成算法服务初始化和模型鉴权功能；

算法推理模块，用于对深度学习目标检测模型进行优化；用于对软件界面截图实现转发，并对软件界面截图进行解析，将获得算法解析结果发送给后端处理模块；用于完成校验功能。

5.根据权利要求4所述的RPA元素拾取同屏切换系统，其特征在于，所述前端展示模块包括：

浮窗选择器，用于作为切换元素拾取方法的展示载体；

窗口界面截图模块，用于对当前软件界面进行截图；

解析结果蒙层绘制模块，用于对算法解析后的结果在当前软件界面进行展示。