[发明专利]一种界面元素探测识别方法、装置、存储介质及电子设备

权利要求书

1.一种界面元素探测识别方法，其特征在于，包括：

在监视窗口消息的钩子打开的情况下，获取与鼠标移动位置相关联的元素应用类型；其中，所述元素应用类型包括Win32桌面程序、IE浏览器、webkit内核浏览器和java桌面程序；

确定与所述元素应用类型相匹配的元素识别算法信息；

根据所述元素识别算法信息，对鼠标移动位置的元素对象进行识别，得到目标元素对象；其中，所述元素对象包括基本属性信息、隶属对象信息、基本操作信息以及对象转选择串信息。

2.根据权利要求1所述的方法，其特征在于，获取与鼠标移动位置相关联的元素应用类型，包括：

通过预先确定的识别层接口对象获取元素探测器；

基于所述元素探测器，确定与鼠标移动位置相关联的元素应用类型。

3.根据权利要求1所述的方法，其特征在于，确定与所述元素应用类型相匹配的元素识别算法信息，包括：

从预先确定的候选元素识别算法信息中进行查找，确定与所述元素应用类型相匹配的元素识别算法信息；其中，所述候选元素识别算法信息包括Win32桌面程序元素识别算法信息、IE浏览器元素识别算法信息、webkit内核浏览器元素识别算法信息和Java桌面程序元素识别算法信息。

4.根据权利要求1所述的方法，其特征在于，根据所述元素识别算法信息，对鼠标移动位置的元素对象进行识别，得到目标元素对象，包括：

根据所述元素识别算法信息，调用目标接口对鼠标移动位置进行识别，得到元素对象；其中，所述目标接口包括应用程序与钩子接口、网页浏览与钩子接口、浏览器扩展与钩子接口以及访问桥接器与钩子接口；

对所述元素对象进行字符串转换，得到目标元素对象。

5.根据权利要求4所述的方法，其特征在于，在根据所述元素识别算法信息，调用目标接口对鼠标移动位置进行识别，得到元素对象之后，所述方法还包括：

根据所述元素对象，确定子元素集合；

判断鼠标移动位置是否处于子元素集合构成的四边形内；

若处于，则计算子元素集合中元素的面积，得到目标面积；

根据所述目标面积，对所述鼠标移动位置的元素对象进行标记。

6.根据权利要求5所述的方法，其特征在于，判断鼠标移动位置是否处于子元素集合构成的四边形内，包括：

判断鼠标移动位置与四边形的每条边组成的三角形面积之和是否等于四边形面积；或，判断鼠标移动位置与四边形的每条边的夹角之和是否等于四边形角度；或，判断鼠标移动位置与四边形的交点是否满足预设数量条件。

7.根据权利要求1所述的方法，其特征在于，在根据所述元素识别算法信息，对鼠标移动位置的元素对象进行识别，得到目标元素对象之后，所述方法还包括：

根据所述元素识别算法信息的调用接口，对目标元素对象进行解析，得到目标元素；

响应于输入操作，对所述目标元素进行修改，得到修改后的目标元素。

8.一种界面元素探测识别装置，其特征在于，包括：

元素应用类型获取模块，用于在监视窗口消息的钩子打开的情况下，获取与鼠标移动位置相关联的元素应用类型；其中，所述元素应用类型包括Win32桌面程序、IE浏览器、webkit内核浏览器和java桌面程序；

元素识别算法信息确定模块，用于确定与所述元素应用类型相匹配的元素识别算法信息；

目标元素对象得到模块，用于根据所述元素识别算法信息，对鼠标移动位置的元素对象进行识别，得到目标元素对象；其中，所述元素对象包括基本属性信息、隶属对象信息、基本操作信息以及对象转选择串信息。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的界面元素探测识别方法。

10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的界面元素探测识别方法。