[发明专利]记录和重新创建界面导航过程

说明书

一种计算机系统，记录和重新创建由用户与主机系统一起执行的界面导航过程。在界面导航过程中，计算机系统通过使用用户正在其中执行界面导航过程的浏览器应用的浏览器扩展来观察用户与各种UI元素的交互。然后，浏览器扩展将存储关于用户正在执行的交互以及对其执行交互的UI元素的信息。浏览器扩展将所存储的交互发送到计算机系统，该计算机系统处理这些交互以生成界面导航记录的步骤。在一些实施例中，计算机系统还将在界面导航过程的最终UI状态下存在的一个或多个UI元素标识为“验证器”，该“验证器”可以用于确定界面导航过程的重新创建是否成功。

背景技术

本公开总体上涉及导航用户界面，并且更具体地涉及自动记录和重新创建由用户执行的界面导航过程。

用户导航用户界面(UI)以与计算机系统通信。通过与UI的元素交互，用户可以使用计算机系统执行特定任务。某些任务可能要求用户与多个UI或UI“状态”(其以不同UI元素布置为特征)交互。通过这些多个UI状态的用户导航可以被描述为界面导航过程。计算机系统可能需要复制用户的界面导航过程以执行由用户请求的服务。例如，计算机系统在扫描用户的网络应用中的安全漏洞时复制用户的认证过程。

收集计算机系统复制界面导航过程所需要的信息可以是一个需要大量用户参与的繁琐过程。通常，该信息经由对要从状态转变的动作的显式用户指定而被收集，这给用户带来了沉重的负担并且具有很高的用户错误风险。某些方法可以使用网络业务来识别设备与主机系统之间的交互，但不能有效地捕获用户与特定UI状态的交互。

发明内容

一种计算机系统记录并且重新创建由用户与主机系统一起执行的界面导航过程。为此，计算机系统观察用户手动执行界面导航过程，收集关于其与主机系统交互的信息，并且然后将该信息组织成“界面导航记录”。界面导航记录包括计算机系统可以执行以从用户的角度重新创建界面导航过程的步骤。

在浏览器应用中的界面导航过程中，计算机系统使用浏览器扩展来观察用户与各种UI元素的交互。浏览器扩展存储关于用户正在执行的交互以及对其执行交互的UI元素的信息。在某些实施例中，浏览器扩展监测某些类型的交互或者过滤用户的交互以存储列入白名单的交互。浏览器扩展将所存储的交互发送到计算机系统，该计算机系统处理这些交互以生成界面导航记录的步骤。该处理可以包括在将交互转换为用于记录的步骤之前，进一步过滤交互并且优化交互。在一些实施例中，计算机系统还将在界面导航过程的最终UI状态下存在的一个或多个UI元素识别为“验证器”，该“验证器”可以用于确定界面导航过程的重新创建是否成功。浏览器扩展还可以监测浏览器应用与网络之间(例如，到主机系统)的业务以识别在界面导航过程中发生的网络交互。这些网络交互(或导出的摘要)也可以被发送到计算系统并且被添加到记录中。

通过在用户像往常一样执行他们的手动界面导航过程的同时自动创建界面导航记录，计算机系统为系统捕获界面导航过程提供了最小介入方式。在某些情况下，基于与UI元素的交互来重新创建界面导航过程要比仅依靠网络业务的常规方法更为可靠，并且更可靠地模仿相同的浏览器行为。

附图说明

图1示出了根据一个实施例的记录和重放界面导航过程的计算机系统。

图2是根据一个实施例的用于计算机系统的系统环境的框图。

图3A是根据一个实施例的客户端设备的浏览器扩展的框图。

图3B是根据一个实施例的计算机系统的框图。

图4A是根据一个实施例的用于监测手动界面导航过程的方法的流程图。

图4B是根据一个实施例的用于生成界面导航记录的方法的流程图。

图5是根据一个实施例的用于基于界面导航记录来执行自动界面导航过程的方法的流程图。