[发明专利]实现全局流控的方法及装置

说明书

本发明公开了一种实现全局流控的方法及装置，该方法包括：接收上层应用发送的请求；获取通过Apollo配置中心配置的所述上层应用的所述请求的全局限额阈值；若本地配额库存小于所述请求的记录数，访问HBase数据库获取配额批次；若本地配额库存与所述配额批次之和小于等于所述全局限额阈值且大于或等于所述请求的记录数，响应所述请求。本发明提供了一种灵活部署的全局流控方案，使分布式系统中可以同时保障服务稳定性和服务高可用，缓解了通过横向增加设备量带来的成本问题。

技术领域

本发明涉及互联网大数据技术领域，具体而言，涉及一种实现全局流控的方法及装置。

背景技术

随着信息技术的高速发展，包括文字、图像、视频等结构化、半结构化数据实现指数级增长。传统数据库很难存储、分析这些数据的内容，所以业界一般使用Hadoop生态系统等大数据技术进行业务处理。基于Hadoop生态系统搭建一个在线业务平台时，需考虑满足大流量、高并发、低成本等要求。同时，为了整个在线业务平台的稳定，防止单租户的大流量压垮平台，我们需要通过增加硬件设备的方法增大系统容量，降低系统风险。但随着业务量的进一步增大，这种方式显著地增加了运行成本，为了避免无止境膨胀的物理机器，对接入平台的子系统或者子应用进行限流和服务降级则十分必要。

在分布式系统中实现全局流控，即需要保障限流服务的原子化。每个提供服务的应用服务器都可以进行限流，但由于负载均衡，各应用节点压力不同，限流的程度无法控制，无法达到全局流控的理想效果。如何在保障对外界提供服务的前提下实现一种灵活配置的全局流控是目前亟需解决的问题。

发明内容

本发明为了解决上述背景技术中的至少一个技术问题，提出了一种实现全局流控的方法及装置。

为了实现上述目的，根据本发明的一个方面，提供了一种实现全局流控的方法，该方法包括：

接收上层应用发送的请求；

获取通过Apollo配置中心配置的所述上层应用的所述请求的全局限额阈值；

若本地配额库存小于所述请求的记录数，访问HBase数据库获取配额批次；

若本地配额库存与所述配额批次之和小于等于所述全局限额阈值且大于或等于所述请求的记录数，响应所述请求。

可选的，该实现全局流控的方法还包括：

若本地配额库存与所述配额批次之和大于所述全局限额阈值，休眠到下一个限额时间点重新处理所述请求。

可选的，该实现全局流控的方法还包括：

在每个限额时间点将本地配额库存清零。

可选的，该实现全局流控的方法还包括：

若本地配额库存大于或等于所述请求的记录数，响应所述请求并从所述本地配额库存中扣除所述请求的记录数。

可选的，该实现全局流控的方法还包括：

通过所述Apollo配置中心配置各上层应用的各请求类型的全局限额阈值，并通过热发布的方法将所述全局限额阈值发送到本地。

可选的，该实现全局流控的方法还包括：

实时记录所述上层应用的请求数据，并将所述请求数据发送到所述HBase数据库中预设的全局流控表中进行存储。

可选的，所述Apollo配置中心根据所述全局流控表配置各上层应用的各请求类型的全局限额阈值。

为了实现上述目的，根据本发明的另一方面，提供了一种实现全局流控的装置，该装置包括：

请求接收单元，用于接收上层应用发送的请求；