[发明专利]检测和报警特征斜升期间的性能下降

说明书

本公开描述了用于检测特征斜升期间的性能下降的计算机化技术。网络内容的第一版本被发送到第一客户端设备。网络内容的第一版本缺少特定特征。接收指示每个第一客户端设备关于处理网络内容的性能的第一性能数据。网络内容的第二版本被发送到第二客户端设备。网络内容的第二版本具有特定特征。接收指示每个第二客户端设备关于处理网络内容的性能的第二性能数据。将第一性能数据与第二性能数据进行比较，以确定与网络内容的第一版本相关联的处理度量和与网络内容的第二版本相关联的处理度量之间的差异。

技术领域

本公开涉及应用服务器，以及更具体地，涉及检测和警报特征斜升期间的性能下降。

背景技术

尽管进行了实验室测试，但是在发布之前可能难以预测新的网络应用特征的性能影响。跟踪新的网络应用特征的性能的一种方法是专注于特征可能对提供网络应用程序的服务器产生的影响。然而，新特征可能对客户端设备产生的影响被完全忽略。

监控性能下降的一种方法是比较在新特征的总发布之前和之后观察到的总体性能数据。然而，这种方法并不适合复杂的部署技术。另外，这种方法将不会知晓一些应用程序用户可以使用应用程序的变体，而其他同时的用户不使用该变体。

这种方法的结果是对于未被广泛使用的变体的性能下降的观察可能在通常可获得的应用的较大受众的统计测量中丢失。无法分离变体性能由于多个新特征中的每一个的单独变体的可能性而加剧。

发明内容

在本公开的第一方面，一种用于检测特征斜升期间的性能下降的方法，包括：接收包括特征和客户端工具的部署，以测量和报告具有所述特征的网络内容的加载时间，其中所述特征被禁用；为客户端用户的子集启用所述特征；反复添加客户端用户到所述子集；从所述客户端工具接收定时报告，其中每个定时报告包括内容加载持续时间和客户端用户的分类符；处理分类符以确定该特征是否为所述客户端用户所启用；基于所述定时报告计算下降程度，所述下降程度在统计上量化如果为所述客户端用户启用该特征，客户端所花费的加载网络内容的额外持续时间；如果所述下降程度超过阈值则产生警报；其中所述方法由一个或更多个计算设备执行。

在本公开的第二方面，一种用于检测特征斜升期间的性能下降的方法，包括：将网络内容的第一版本发送到第一多个客户端设备，其中所述网络内容的第一版本不包括特定特征；从所述第一多个客户端设备中的每个客户端设备接收指示所述客户端设备关于处理所述网络内容的性能的第一性能数据；将所述网络内容的第二版本发送到与所述第一多个客户端设备不同的第二多个客户端设备，其中所述网络内容的第二版本包括所述特定特征；从所述第二多个客户端设备中的每个客户端设备接收指示所述客户端设备关于处理所述网络内容的性能的第二性能数据；将所述第一性能数据与所述第二性能数据进行比较，以确定与所述网络内容的第一版本相关联的处理度量和与所述网络内容的第二版本相关联的处理度量之间的差异；其中与所述第一版本相关联的处理度量和与所述第二版本相关联的处理度量包括内容加载时间的统计数据；其中所述内容加载时间不包括在完成呈现所有可见内容之后所花费的时间；其中所述方法由一个或多个计算设备执行。

在本公开的第三方面，一种用于检测特征斜升期间的性能下降的方法，包括：将网络内容的第一版本发送到第一多个客户端设备，其中所述网络内容的第一版本不包括特定特征；从所述第一多个客户端设备中的每个客户端设备接收指示所述客户端设备关于处理所述网络内容的性能的第一性能数据；将所述网络内容的第二版本发送到与所述第一多个客户端设备不同的第二多个客户端设备，其中所述网络内容的第二版本包括所述特定特征；从所述第二多个客户端设备中的每个客户端设备接收指示所述客户端设备关于处理所述网络内容的性能的第二性能数据；将所述第一性能数据与所述第二性能数据进行比较，以确定与所述网络内容的第一版本相关联的处理度量和与所述网络内容的第二版本相关联的处理度量之间的差异；其中与所述第一版本相关联的处理度量和与所述第二版本相关联的处理度量包括内容加载时间的统计数据；其中所述内容加载时间包括多个时间花费；其中多个时间花费中的每个时间花费测量在单独的内容加载阶段中的时间花费；其中所述方法由一个或多个计算设备执行。