[发明专利]基于图像的应用自动化

说明书

背景技术

一些基于图像的应用(或软件)自动化系统典型地包括记录阶段和回放阶段。在记录阶段期间，基于图像的应用自动化系统记录将在回放阶段期间被自动化的应用的动作。例如，基于图像的应用自动化系统在图形用户界面检测输入事件并响应于每个输入事件捕获该图形用户界面的图像。通常，基于图像的应用自动化系统之后为每个输入事件定义指定该输入事件的图像的自动化动作，而且在记录阶段期间定义的自动动作存储在脚本文件内。

在回放阶段期间，基于图像的应用自动化系统执行在记录阶段期间记录的动作。例如，基于图像的应用自动化系统能够识别脚本文件中的自动化动作并重放该指定在自动化动作中的输入事件。即，对于每个自动化动作，该基于图像的应用自动化系统识别与那个自动化动作中指定的图像匹配的应用的图形用户界面的一部分，并执行该应用的那一部分处的输入事件。

附图说明

图1是根据实施方式关联一组图像和输入事件的方法流程图。

图2A是根据实施方式对具有处于第一状态的图形用户界面元件的一部分图形用户界面的图示。

图2B是根据实施方式对具有处于第二状态的图形用户界面元件的图2A的一部分图形用户界面的图示。

图2C是根据实施方式对具有处于第三状态的图形用户界面元件的图2A和2B的一部分图形用户界面的图示。

图3A是根据实施方式对包括图2A的图形用户界面元件的图像的图示。

图3B是根据实施方式对包括图2B的图形用户界面元件的图像的图示。

图3C是根据实施方式对包括图2C的图形用户界面元件的图像的图示。

图4是根据实施方式的基于图像的应用自动化系统的示意性框图。

图5是根据实施方式的主控基于图像的应用自动化系统的计算设备的示意性框图。

图6是根据实施方式的关联一组图像和输入事件的方法流程图。

图7A和7B是根据实施方式的用以选择图像作为输入事件的目标的图形用户界面的图示。

具体实施方式

基于图像的应用(软件)自动化系统在其不能把与输入事件相关的图像和图形用户界面的一部分匹配时会经受失败。例如，输入事件可与具有多个状态(例如，可视化外观)的图形用户界面元件相关(或被在其处执行)。作为特定例子，输入事件可与按钮控件相关，当光标(例如鼠标指针)没有在该按钮控件上停悬时按钮控件具有第一可视外观，而当光标在该按钮控件上停悬时按钮控件具有第二可视外观。相应的，响应于诸如在按钮控件的鼠标按钮按下输入事件的输入事件而被捕捉的该按钮控件的图像将包括处于第二可视外观(或状态)的按钮控件，因为在鼠标按钮按下输入事件在按钮控件执行时，该鼠标指针停悬在该按钮控件上。

然而，在重放阶段期间，当基于图像的应用自动化系统试图重放包括在按钮控件处的鼠标按钮按下输入事件的自动化动作(例如，重放在自动化动作处指定的鼠标按钮按下输入事件)时，鼠标指针可能当时没有停悬在按钮控件之上。结果是，按钮控件处于第一可视外观，但该鼠标按钮按下输入事件的图像包括处于第二可视外观的按钮控件。因此，基于图像的应用自动化系统很可能无法匹配该图像和该按钮控件，并且对于这次自动化动作重放阶段将失败。

一些基于图像的应用自动化系统提供一种允许用户(诸如测试工程师)向基于图像的应用自动化系统提供图像作为由该基于图像的应用自动化系统生成的(或捕获的)图像的替代品的机制。例如，在上述的失败后，用户能手动生成图像，其包括处于第一可视外观的按钮控件，并将该图像提供给基于图像的应用自动化系统作为由该基于图像的应用自动化系统生成的图像的替代。

然而，这样的过程对于用户是耗时的。例如，用户可能被要求操纵该应用来显示该处于第一可视外观的按钮控件，生成该应用的屏幕快照图像，之后编辑(或修裁或重定义尺寸)该屏幕快照图像来产生图像来替换由该基于图像的应用自动化系统生成的图像。

此处讨论的实施方式把多个图像与输入事件关联。例如，包括在基于图像的应用自动化系统的记录阶段期间输入事件被执行于其处的图形用户界面元件的多个图像在不同时间被捕获，并且被该输入事件的自动化动作识别(或参考)。额外的，此处讨论的实施方式允许用户规定多个图像中的哪个应被用于识别该输入事件应被执行于其处的图形用户界面的一部分(例如，该图形用户界面元件)。相应的，例如，用户可从一组由该基于图像的应用自动化系统生成并与输入事件关联的的图像中选择图像，作为该输入事件的目标，而不是提供用户生成的图像。