[发明专利]基于图像的应用自动化

权利要求书

1.一种基于图像的应用自动化系统，包括：

事件检测模块，用以在记录阶段期间检测与图形用户界面相关的输入事件；

图像生成模块，用以在所述记录阶段期间生成图像，所述图像中的每一个图像包括图形用户界面的至少一部分；以及

关联模块，用以在所述记录阶段期间将来自该图像的多个图像与来自输入事件的输入事件关联；

选择模块，用于在所述记录阶段期间，输出包含所述多个图像的选择界面至显示器，响应于用户输入从所述多个图像中选择图像；

该关联模块进一步用于，在所述记录阶段期间，从所述多个图像中指定所述图像作为所述输入事件的目标；定义标识所述输入事件和所述目标的自动化动作，所述自动化动作在重放阶段期间被重放。

2.如权利要求1所述的系统，进一步包括：

图像储存库，关联模块在图像储存库存储多个图像。

3.如权利要求1所述的系统，其中：

输入事件与该图形用户界面的图形用户界面元素相关；并且

该多个图像包括包含处于第一状态的图形用户界面元件的至少一部分的第一图像，以及包含处于第二状态的图形用户界面元件的至少一部分的第二图像。

4.一种基于图像的应用自动化的方法，包括：

在记录阶段期间，检测与图形用户界面元件相关的输入事件；

在所述记录阶段期间，将包含至少一部分图形用户界面元件的多个图像与该输入事件关联；

在所述记录阶段期间，从所述多个图像中指定图像作为输入事件的目标；

在所述记录阶段期间，定义标识所述输入事件和所述目标的自动化动作，所述自动化动作在重放阶段期间被重放；

其中，从所述多个图像中指定图像作为输入事件的目标包括：

输出包含所述多个图像的选择界面至显示器；

响应于用户输入从所述多个图像选择图像；以及

从所述多个图像指定该图像作为输入事件的目标。

5.如权利要求4所述的方法，进一步包括：

捕获多个图像；

该多个图像包括在输入事件前捕获的至少一个图像，响应于该输入事件捕获的至少一个图像，以及在该输入事件之后捕获的至少一个图像。

6.如权利要求4所述的方法，进一步包括：

从该多个图像指定第一图像作为输入事件的目标；

响应于用户输入从该多个图像选择第二图像；以及

从多个图像指定第二图像作为输入事件的目标。

7.如权利要求4所述的方法，其中来自多个图像的第一图像包括处于第一状态的图形用户界面元件的至少一部分，以及来自多个图像的第二图像包括处于第二状态的图形用户界面元件的至少一部分；

该方法进一步包括：

从多个图像中指定一图像作为该输入事件的目标；

响应于用户输入从该多个图像选择第二图像；以及

从多个图像指定第二图像作为输入事件的目标。