[发明专利]一种界面元素探测识别方法、装置、存储介质及电子设备

说明书

本申请实施例公开了一种界面元素探测识别方法、装置、存储介质及电子设备。该方法包括：在监视窗口消息的钩子打开的情况下，获取与鼠标移动位置相关联的元素应用类型；其中，所述元素应用类型包括Win32桌面程序、IE浏览器、webkit内核浏览器和java桌面程序；确定与所述元素应用类型相匹配的元素识别算法信息；根据所述元素识别算法信息，对鼠标移动位置的元素对象进行识别，得到目标元素对象；其中，所述元素对象包括基本属性信息、隶属对象信息、基本操作信息以及对象转选择串信息。本技术方案，可以根据元素应用类型自动识别元素对象，可以有效的屏蔽各种应用场景中的技术复杂度，提高了元素的识别精度，减少了资源的浪费。

技术领域

本申请实施例涉及计算机自动化技术领域，尤其涉及一种界面元素探测识别方法、装置、存储介质及电子设备。

背景技术

随着全球数字化经济的深入，各行业开始实施数字化转型，以实现降本增效开源节流的目的。其中，RPA(Robotic process automation，机器人流程自动化)的弱耦合性、易操作、部署便捷、效率高等特性受到了各行业的青睐，从而成为重要的企业数字化转型工具之一。同时为了进一步提升RPA产能，很多企业开始通过RPA+AI+创新技术的超级自动化，将费时、费力的非结构化数据业务实现自动化。因此一种高效的、准确的、跨平台的计算机系统元素识别技术赋能计算机自动化应用就减少研发成本、专注于业务研发来说是非常重要的。

计算机自动化领域中当前界面元素探测识别主要采用MSAA(Microsoft ActiveAccessibility)、UIA(Microsoft User Interface Automation)、MSHTML、浏览器扩展(Chrome Extension)和JAB(Java Access Bridge)等技术。

由于各种软件系统使用的技术栈以及和它运行的操作系统不同，当前界面元素探测识别方法对于各种复杂场景往往很难满足需求，需要大量的人力物力根据不同场景结合不同场景进行改进。

发明内容

本申请实施例提供一种界面元素探测识别方法、装置、存储介质及电子设备，根据元素应用类型自动识别元素对象，可以有效的屏蔽各种应用场景中的技术复杂度，提高了元素的识别精度，减少了资源的浪费。

第一方面，本申请实施例提供了一种界面元素探测识别方法，该方法包括：

在监视窗口消息的钩子打开的情况下，获取与鼠标移动位置相关联的元素应用类型；其中，所述元素应用类型包括Win32桌面程序、IE浏览器、webkit内核浏览器和java桌面程序；

确定与所述元素应用类型相匹配的元素识别算法信息；

根据所述元素识别算法信息，对鼠标移动位置的元素对象进行识别，得到目标元素对象；其中，所述元素对象包括基本属性信息、隶属对象信息、基本操作信息以及对象转选择串信息。

第二方面，本申请实施例提供了一种界面元素探测识别装置，该装置包括：

元素应用类型获取模块，用于在监视窗口消息的钩子打开的情况下，获取与鼠标移动位置相关联的元素应用类型；其中，所述元素应用类型包括Win32桌面程序、IE浏览器、webkit内核浏览器和java桌面程序；

元素识别算法信息确定模块，用于确定与所述元素应用类型相匹配的元素识别算法信息；

目标元素对象得到模块，用于根据所述元素识别算法信息，对鼠标移动位置的元素对象进行识别，得到目标元素对象；其中，所述元素对象包括基本属性信息、隶属对象信息、基本操作信息以及对象转选择串信息。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的界面元素探测识别方法。