[发明专利]一种基于计算机视觉的GUI软件包装器及其实现方法

摘要

本发明公开一种基于计算机视觉的GUI软件包装器，包括基础层、功能层和应用层，基础层为软件包装器驱动GUI软件提供基础支持，包括GUI软件的启动和卸载，GUI软件运行环境维护，鼠标和键盘等输入设备模拟，典型格式数据的剪贴板操作，指定屏幕区域的像素截取。功能层为软件包装器驱动GUI软件提供功能支持，包括GUI模式的特征提取、屏幕GUI模式匹配、图像文本OCR识别、各种GUI部件功能的自动执行模型。应用层提供封装GUI软件的各种分析计算过程的能力，以实现GUI软件操作流程的自动化，包括GUI软件操作流程建模引擎，GUI软件操作流程驱动引擎。本发明还公开了上述GUI软件包装器的实现方法。

主权项

一种基于计算机视觉的GUI软件包装器实现方法，其特征在于，包括如下步骤：(1)整理使用该GUI软件分析特定设计方案过程中，在设置因子水平、计算系统响应、获取计算结果时，人工操作的GUI部件，以及这些GUI部件所实现的功能，获取这些GUI部件的图像，提取其模式特征；(2)整理使用该GUI软件分析特定设计方案过程中，在设置因子水平、计算系统响应、获取计算结果时，人工辨识的GUI状态，以及这些GUI状态之间的间隔时间，获取这些GUI状态的图像，提取其模式特征；(3)实现屏幕GUI模式匹配，以根据GUI模式及其模式特征，判别目标模式是否存在于屏幕上，以及存在情况下目标模式所占据的屏幕区域，所述GUI模式是指GUI软件界面上特定区域内像素的集合；(4)分析人工操作该GUI软件的GUI部件实现其功能时，所执行的GUI交互的序列，通过模拟输入设备，执行这些GUI交互，以实现GUI部件功能的自动执行；(5)研究人工操作该GUI软件对特定设计方案进行分析计算，包括因子水平设置、系统响应计算、计算结果获取的过程中，所执行的GUI部件功能的序列，通过驱动这些GUI部件功能的自动执行，实现GUI软件操作流程的自动化。