[发明专利]数据服务过载检测和缓解

说明书

所描述的技术旨在呈现可以由客户端请求的激增导致的服务器过载状况。在服务器处接收到针对数据的传入客户端请求后，评估客户端请求缓冲器的请求缓冲器状况(例如，计数器)以确定客户端请求是否对应于关于服务器的请求处理能力的预期过载状态，例如，客户端请求缓冲器是否为满。如果是，则向客户端返回过载响应(例如重试响应)，以指示使得客户端在时间延迟之后重试相应的客户端请求。如果不处于预期过载状态，则例如通过将与传入客户端请求相关联的请求信息条目添加至客户端请求缓冲器并更新请求缓冲器状况，来进一步处理该请求，以例如提供包含所请求的数据的常规响应。

相关申请的交叉引用

本申请要求2018年6月15日提交的、标题为“DATA SERVICE OVERLOAD DETECTIONAND MITIGATION”的美国非临时专利申请第16/009,729号的优先权，该美国非临时专利申请的全部内容通过引用并入本文。

背景技术

许多当代的计算装置程序具有作为在线客户端向外部数据服务做出请求的在线部件。为了扩大规模以处理大量这样的客户端请求，典型的数据服务解决方案是在负载平衡器处接收客户端请求，负载平衡器在通常称为服务器实例的许多可能的数据服务服务器之间分发客户端请求。然后，服务器处理并且发送对客户端请求的响应。

数据服务服务器执行的操作之一是响应来自负载平衡器的周期性心跳检测请求，例如，通过负载平衡器和服务器理解的特定URL发送的是用于心跳通信的。当没有检测到来自数据服务服务器的心跳时，该数据服务服务器被卸下并被重启。

当有时在不可预测的时刻出现大的、突然的客户端请求负载时，数据服务遇到问题。通常，这样的需求激增使数据服务服务器过载，因为服务器试图跟上许多对数据的客户端请求。当过载时，即使服务通常是运转的，数据服务服务器也经常不能响应心跳检测，从而导致其重启。卸下服务器进行重启操作会进一步地使其他过载的服务器承受压力。

发明内容

提供本发明内容是为了以简化的形式介绍一系列代表性的概念，这些概念在下面的具体实施方式中被进一步描述。本发明内容不旨在确定所要求保护的主题的关键特征或必要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。

简言之，本文描述的技术的各方面旨在避免服务器过载状况。在服务器处接收到对数据的传入客户端请求后，各方面包括：评估客户端请求缓冲器的请求缓冲器状况，以确定客户端请求是否对应于关于服务器的请求处理能力的预期过载状态。如果评估请求缓冲器状况确定传入客户端请求对应于预期过载状态，则本文描述的是向客户端返回响应，该响应指示客户端要在时间延迟之后重试相应的客户端请求。如果评估请求缓冲器状况确定传入客户端请求不对应于预期过载状态，则各方面包括将与传入客户端请求相关联的请求信息条目添加至客户端请求缓冲器，并且更新请求缓冲器状况。

根据结合附图所做的以下详细描述，其他的优点可以变得明显。

附图说明

本文中描述的技术通过示例的方式示出并且不通过附图进行限制，在附图中相似的附图标记指示相似的元件，并且在附图中：

图1是表示根据一个或更多个示例实现方式的包括经由具有过载检测能力的服务器处理针对数据的客户端请求的示例部件的框图。

图2是表示根据一个或更多个示例实现方式的其中当前未预期到过载状态的具有过载检测能力的客户端和服务器的示例部件的框图。

图3是表示根据一个或更多个示例实现方式的其中检测到预期过载状态的具有过载检测能力的客户端和服务器的示例部件的框图。

图4是表示根据一个或更多个示例实现方式的可以由服务器执行的关于检测是否存在预期过载状态的示例逻辑/操作以及后续操作的流程图

图5是表示根据一个或更多个示例实现方式的可以由服务器执行的关于在跟踪可能的过载相关状况的同时处理对数据的客户端请求的示例逻辑/操作的流程图。