[发明专利]热点数据的限流控制方法、装置、设备及存储介质

说明书

本发明涉及互联网领域，公开了一种热点数据的限流控制方法、装置、设备及存储介质，该方法包括：获取数据对象的访问信息，识别数据对象中的正在被访问的热点数据；确定热点数据的访问控制规则，并基于访问控制规则计算访问流量阈值；当接收到对热点数据的访问请求时，获取每个访问请求所占用的流量资源，计算访问流量总值；判断访问流量总值是否大于访问流量阈值；若是，则对热点数据的所有访问请求进行限流。本方法能够根据实时业务请求数据，进行热点数据识别，针对不同热点数据，使用对应的访问控制规则进行流量分配，避免数据时间访问量突增导致缓存击穿，保障系统正常运作，此外本发明还涉及区块链技术，访问信息可存储于区块链中。

技术领域

本发明涉及互联网领域，尤其涉及一种热点数据的限流控制方法、装置、设备及存储介质。

背景技术

现有的限流技术针对系统定义了资源、规则的概念，其中资源就是需要保护的代码，规则例如访问控制规则、熔断降级规则、系统保护规则、热点防护规则等。在系统运行中，实时监控流量情况，根据流量规则对现有系统做到保护的作用。

现有的流量防控体系在实际运用时候，对资源的定义需要预先设定，提前埋点。也就是说在开发设计阶段就需要识别出流量热点的资源，从而针对该热点做好提前预测并设置好规则。

然而在电商交易系统实际运行中，流量是不可预测的，是随机的。在实际过程中，热点数据也是不可预估的，可能出现某个商品的瞬时访问量非常高。这时候采用传统的流量防控，通过事先预测热点数据，并对这些数据设置防控规则的方式，就变得不可预估。对于无法被事先预估并被设定规则的热点数据，可能会占用所有的请求资源，挤占其他数据的请求资源，影响系统进程。甚至可能出现大量的请求击穿缓存，最终可能导致系统挂掉，对于系统来说风险极大。

发明内容

本发明的主要目的在于解决现有的数据限流难以对热点数据进行预测的技术问题。

本发明第一方面提供了一种热点数据的限流控制方法，包括：通过平台数据接口从数据平台中获取数据对象的访问信息；根据所述访问信息识别所述数据对象中的正在被访问的热点数据；确定所述热点数据的访问控制规则，并基于所述访问控制规则计算出所述热点数据的访问流量阈值；当接收到对所述热点数据的访问请求时，获取每个访问请求所占用的流量资源，并基于所述流量资源计算所有访问请求所需的访问流量总值；判断所述访问流量总值是否大于所述访问流量阈值；若是，则对所述热点数据的所有访问请求进行限流控制。

可选的，在本发明第一方面的第一种实现方式中，在所述根据所述访问信息识别所述数据对象中的正在被访问的热点数据之后，还包括：根据所述热点数据的访问信息，获取所述热点数据的日志数据；将所述日志数据通过消息队列异步存储在数据库中。

可选的，在本发明第一方面的第二种实现方式中，所述根据所述访问信息识别所述数据对象中的正在被访问的热点数据包括：获取所述数据库的数据存储周期，并将所述数据存储周期作为热点数据的统计周期；根据所述统计周期和所述访问信息，计算所述数据对象中各项数据的访问频次；将所述数据对象中访问频次大于预设频次的数据作为热点数据。

可选的，在本发明第一方面的第三种实现方式中，所述确定所述热点数据的访问控制规则，并基于所述访问控制规则计算出所述热点数据的访问流量阈值包括：确定所述热点数据的访问控制规则，并基于所述访问控制规则获取所述数据平台的最大流量阈值；根据所述数据对象中各项数据的访问信息，计算所述热点数据的访问比例；根据所述访问比例和所述最大流量阈值，计算所述热点数据的访问流量阈值。

可选的，在本发明第一方面的第四种实现方式中，在所述确定所述热点数据的访问控制规则，并基于所述访问控制规则计算出所述热点数据的访问流量阈值之前，还包括：获取所述数据对象的标签；根据所述标签，遍历预设的访问控制规则库，获取所述数据对象对应的访问控制规则；根据所述访问控制规则，对所述数据对象中的各项数据分配访问优先级。