[发明专利]一种基于计算机视觉桌面元素自动化提取的方法

说明书

本发明公开了一种基于计算机视觉桌面元素自动化提取的方法，具体方法包括以下步骤：步骤一、获取目标窗口图像；步骤二、窗体中元素的定位和识别；步骤三、窗体的元素的选择和确认。本方法能进行桌面元素的定位和识别，不仅适合Flash和一些特殊的系统，也适用于其它通用场景的元素识别。

技术领域

本发明涉及计算机视觉桌面元素技术领域，具体为一种基于计算机视觉桌面元素自动化提取的方法。

背景技术

在机器人流程自动化(Robotic Process Automation)中，为了实现机器人非侵入式与各种应用进行交互，都需要对桌面元素进行识别。桌面元素包括了Icon，Button，Checkbox，RadioBox，Inputbox等窗体的基本元素。

在通用的Windows应用和Web应用中，桌面元素可以通过操作系统和Web driver等接口，获取元素的相关信息。但是对于一些特殊的应用，比如Flash 和一些特殊的系统，上述方法无法成功获取到桌面元素。针对这些场景，对 RPA的实施和应用带来了很大的挑战。

发明内容

本发明的目的在于提供一种基于计算机视觉桌面元素自动化提取的方法。

以解决上述背景技术提出的现有领域中在通用的Windows应用和Web应用中，桌面元素可以通过操作系统和Web driver等接口，获取元素的相关信息。但是对于一些特殊的应用，比如Flash和一些特殊的系统，上述方法无法成功获取到桌面元素的问题。

为实现上述目的，本发明提供如下技术方案：一种基于计算机视觉桌面元素自动化提取的方法分为以下几个步骤：

步骤一、获取目标窗口图像；

步骤二、窗体中元素的定位和识别；

步骤三、窗体的元素的选择和确认。

进一步优选，所述的步骤一包含以下流程；

1-1.截取桌面图像，进行窗口识别；

1-2.窗口轮廓渲染，提示用户进行窗口选择；

1-3.截取窗口图像，发送至云端元素识别接口，并记录窗口的坐标和大小。

进一步优选，所述的步骤二包含以下流程；

2-1.窗体图像的文字检测和识别；

2-2.窗体元素的识别；

2-3.元素与文本的融合；

进一步优选，所述的步三包含以下流程；

3-1.重定位元素的坐标；

3-2.渲染窗体元素，提示用户选择目标窗体元素；

3-3.记录目标元素。

与现有技术相比，本发明的有益效果是：本方法能进行桌面元素的定位和识别，不仅适合Flash和一些特殊的系统，也适用于其它通用场景的元素识别。

附图说明

图1为本实施例中获取目标窗口图像的处理流程图；

图2为本实施例中窗体中元素的定位和识别的流程图；

图3为本实施例中获取元素的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。