[发明专利]基于深度学习的屏幕图标语义识别方法及系统

说明书

本发明属于元素拾取技术领域，具体涉及基于深度学习的屏幕图标语义识别方法及系统。方法包括：S1，采用原生拾取或CV拾取的方式，拾取屏幕界面的图标元素及图标元素的相关信息；所述图标元素的相关信息包括元素标签和元素的坐标；S2，将拾取到的图标元素送入元素分类模型，获得最终图标元素的类别；S3，根据先验知识，对最终图标元素的类别进行校验，判断分类是否正确；S4，将步骤S3中最终确定的分类结果用于下游任务。本发明具有能够拾取并理解元素含义，配合智能推荐等下游的任务，降低原有流程的开发复杂度，提高开发效率的特点。

技术领域

本发明属于元素拾取技术领域，具体涉及基于深度学习的屏幕图标语义识别方法及系统。

背景技术

随着RPA（机器人流程自动化）技术的成熟和人工智能（AI）技术的发展，基于智能流程自动化（IPA）技术的产品逐渐崭露头角。IPA技术的核心是将RPA与AI有机结合，通过AI辅助处理更复杂的任务，从而解放更多人力，能够从事更具价值和创造性的工作。这种技术的直接影响是根本性地提高效率、降低操作风险和改善客户体验。

在IPA产品的落地中，屏幕图标语义识别作为AI的一种具体应用具有重要意义。屏幕语义识别利用AI技术能够自动识别屏幕上的图标，使机器能像人一样准确理解图标背后的含义，从而降低原有流程的开发复杂度，提高开发效率。同时，结合根据图标语义，智能推荐相应RPA功能组件的下游任务，其应用场景更加广泛。

当前元素拾取技术，可以支持常见软件、网页的元素拾取；使用深度学习目标检测算法之后，更进一步扩展了其使用范围，支持远程桌面、Flash界面以及操作系统指令未能覆盖到的软件。然而，当前元素拾取技术存在以下几点问题：

1.当前原生的元素类别不足以支撑实际应用场景。元素的类别判断依赖操作系统指令或者网页的html标签，但是无论是指令还是标签，都存在类别模糊的情况，限制了其在RPA中的使用。举例来说，勾选框分为“已勾选”和“未勾选”2种状态，类别标签都是“checkbox”，无法分清是否被勾选上。如果将类别标签定义为“已勾选”和“未勾选”，则可以根据勾选状态调整RPA流程的逻辑，例如登录网站时如相关勾选框已勾选，则可无需再次进行勾选框操作，所开发的RPA流程将更简洁和高效；同时进一步扩大起使用范围。

2.RPA元素CV拾取的结果不带有类型信息。如中国专利申请号为CN2022109443974的专利文献描述的一种离线RPA元素拾取方法及系统以及中国专利申请号为CN2022103765230的专利文献描述的一种RPA元素拾取同屏切换方法及系统，对于使用深度学习检测的智能拾取而言，由于将界面视为一张图片，缺乏指令及HTML标签的提示，也就无法获取元素的类别。

3.RPA元素CV拾取带有类别信息，但是元素只针对UI元素，无法处理复杂元素（如登录界面），如中国专利申请号为CN2021105645421的专利文献描述的一种RPA系统中基于目标检测技术的UI元素拾取方法和系统。其他一些非RPA领域的元素识别方法，虽然能够解析元素，但是由于神经网络结构复杂，参数多，进一步限制了在RPA领域的应用，如中国专利申请号为CN2017110429816的专利文献描述的一种基于卷积神经网络的图标识别方法和装置以及中国专利申请号为CN2019101232653的专利文献描述的一种基于图标表示和软件行为一致性分析的恶意程序识别方法及装置。

综合上述原因，缺乏清晰、明确的元素类别、模型参数等因素，限制了拾取到的元素在下游的使用，如RPA组件推荐等任务。从整体来看，屏幕图标语义识别层面的拾取目前还属于空白阶段。

因此，设计一种能够拾取并理解元素含义，配合智能推荐等下游的任务，降低原有流程的开发复杂度，提高开发效率的基于深度学习的屏幕图标语义识别方法及系统，就显得十分重要。

发明内容