[发明专利]一种基于计算机视觉的GUI软件包装器及其实现方法

说明书

技术领域

本发明涉及一种软件重用技术，属于软件工程领域。

背景技术

权衡分析是系统设计过程中，比较不同设计方案、分析设计因子对系统响应的影响、综合多种因素进行优化和决策的过程，如图1所示。典型的权衡分析包括灵敏度分析、不确定性分析、系统优化等。

GUI即图形用户接口，是指软件的可见的窗口、图标、菜单、按钮及其它各种可视部分，这些可视的或图形化的模块称为GUI部件。例如，在个人计算机中常见的GUI部件是一个对话框的特殊窗口，用户可以通过这个特殊窗口输入文本或进行选择。通过鼠标、键盘等输入设备操作菜单、按钮等GUI部件，实现与GUI软件的人-机交互。

人工操作GUI软件进行权衡分析，一般在一个初始的系统设计方案基础上，通过手工操作某些GUI部件调整一个或多个设计因子的水平，生成新的设计方案；然后手工操作另外的GUI部件调用软件的计算功能，对新的设计方案进行计算；最后通过输出文件或软件界面上的GUI部件，获得关于系统响应的计算结果。当需要比较多个设计方案，或者设计方案的调整和计算需要很多人-机交互时，手工多次重复这些操作，不仅耗时、费力、繁琐，而且容易出错。通过软件驱动GUI软件自动执行这些重复性操作，尽量减少人-机交互，分析人员就可以比较更多的方案，将精力集中在设计方案本身的分析与决策，有助于获得更好的设计，提出更多的建议，提高权衡分析的效率。

软件包装器是一种驱动软件自动执行的软件模块，也叫软件适配器，其屏蔽了软件的具体实现和使用方式，对外提供封装了的软件分析计算功能的接口。软件包装器响应外部服务请求，包括初始化和终止服务、设计方案生成、计算并获取计算结果等。图2是软件包装器的一种抽象的功能模型。

对命令行接口(CLI)软件或公开应用编程接口(API)的软件，目前已经提出了一些软件包装器实现方法。其中，对基于文件I/O的CLI软件，通过读写输入文件生成设计方案，通过解析输出文件获取系统响应，借助操作系统调用执行软件功能。对公开API的软件，如动态链接库、COM组件、ActiveX组件、JavaBeans等，采用脚本语言或编程方式调用API，实现软件包装器。

上述软件包装器实现方法不适用于GUI软件，原因是：

(1)很多GUI软件特别是一些专业软件不提供源代码，也不提供或不公开API；

(2)大多数GUI软件的功能只能通过人工操作GUI部件的方式调用，不能通过API进行调用，也很难利用操作系统的管理功能进行调用；

(3)在一些GUI软件中，需要人工操作GUI部件设置部分或全部设计因子的水平，以及获取部分或全部系统响应的取值。

发明内容

本发明针对现有软件包装器实现方法的不足，提出了一种基于计算机视觉的GUI软件包装器及其实现方法，用该方法实现的GUI软件包装器不需要GUI软件提供源码或公开接口，而且具有平台无关性。

为实现上述目的，本发明提供一种基于计算机视觉的GUI软件包装器及其实现方法，包括如下步骤：

(1)整理使用该GUI软件分析特定设计方案过程中，在设置因子水平、计算系统响应、获取计算结果时，人工操作的GUI部件，以及这些GUI部件所实现的功能。获取这些GUI部件的图像，提取其模式特征；

(2)整理使用该GUI软件分析特定设计方案过程中，在设置因子水平、计算系统响应、获取计算结果时，人工辨识的GUI状态，以及这些GUI状态之间的间隔时间。获取这些GUI状态的图像，提取其模式特征；

(3)实现屏幕GUI模式匹配，以根据GUI模式及其模式特征，判别目标模式是否存在于屏幕上，以及存在情况下目标模式所占据的屏幕区域；

(4)分析人工操作该GUI软件的GUI部件实现其功能时，所执行的GUI交互的序列，通过模拟鼠标和键盘等输入设备，执行这些GUI交互，以实现GUI部件功能的自动执行；

(5)研究人工操作该GUI软件对特定设计方案进行分析计算，包括因子水平设置、系统响应计算、计算结果获取的过程中，所执行的GUI部件功能的序列，通过驱动这些GUI部件功能的自动执行，实现GUI软件操作流程的自动化。

为实现上述目的，作为本发明的一优选实施例，所实现的GUI软件包装器采用三层结构，包括基础层、功能层和应用层。