[发明专利]一种减少网络交互并提升cpu利用率的架构

说明书

本发明公开了一种减少网络交互并提升cpu利用率的架构，提出将计算从application端迁移到redis端，这样以来我们就可以减少application端与redis端网络交互，最终达成了降低网络带宽端压力的目的；同时部分计算转移到redis，也必然可以利用redis服务器富裕的其他CPUcore；也就是说，能同时达成了以下两个目的:1、降低应用系统和redis之间的网络带宽压力；2、提高redis服务器的cpu使用能力。本专利所提出的架构方案(如图1)，将算法动态集成到redis中，从而将计算从application端迁移到了redis端，这样以来，既做到了提高redis服务器的资源利用率也降低了网络带宽的压力；本案所提出的新架构，能够让用户自定义各种算法，丰富了redis的算法API，具有更广泛的适用性。

技术领域

本发明涉及redis数据库、计算机网络、多核cpu、计算机算法等领域，特别涉及一种减少网络交互并提升cpu利用率的架构。

背景技术

redis是一个key-value结构的数据存储系统，提供了String、List、 Set等多种数据结构，针对不同的数据结构提供了不同的API，可以实现一些基本的计算能力，例如：求和、去重、排序等算法。

在redis 6.0版本之前，其核心架构设计采用单线程模型，因为当时主流网络带宽在1Gbps以下。因此，1Gbps带宽下简单的数据查询流量，1个CPU Core足以提供足够的算力需求。随着近年来新的网络技术发展，带宽突破了 1Gbps的时候，redis单线程的模型也演化到多线程模型。

然而，当下1Gbps网络基础设施仍被广为采用，另一方面，CPU架构多核已成为缺省配置。有些应用模型借助于redis实现存贮，需要频繁的拉取数据到应用服务器上，然后再进行大量的计算。在这一场景，主要有以下两个问题：

1、应用系统和redis之间的网络带宽压力是提升应用系统的一大瓶颈；

2、redis服务器的cpu能力无法被充分使用。

当下1Gbps网络基础设施仍广为采用，另一方面，CPU架构多核已是标准配置。应用模型借助于redis实现存贮，频繁拉取数据到应用服务器后进行大量的计算。这仍然是是一种典型的应用模式，需要我们寻找好的解决方案，以应对网络带宽所面对的挑战。

网络吞吐已达瓶颈，能否降低对网络带宽的压力是我们必须面对和解决的问题。与此同时，对于多核CPU的能力进行利用，不浪费计算资源也是我们的另一个主要关注点。

因此，本案提出将计算从application端迁移到redis端，这样以来我们就可以减少application端与redis端网络交互，最终达成了降低网络带宽端压力的目的。同时部分计算转移到redis，也必然可以利用redis服务器富裕的其他CPU core。也就是说，能同时达成了以下两个目的:

1、降低应用系统和redis之间的网络带宽压力；

2、提高redis服务器的cpu使用能力。

以大数据实时聚合指标计算为例，计算某商户下某个用户过去一段时间实际的交易金额等复杂的标签。为了实现该算法，需要在redis存储原始的某商户下所有用户的交易明细记录，application从redis拉取特定用户的全记录集合，然后完成汇总。在这个过程中，application需要频繁的和redis 的交互，对网络带宽造成较大压力，而最终网络也将成为整个application 系统的瓶颈。

在本方案中，将计算从application侧抽取,然后转移到redis端， application只需要做数据写入和聚合查询，而所有的聚合计算均在redis内完成。这可以最大程度减少application与redis的交互，降低网络带宽的压力，同时把聚合计算迁移到redis上也提升了对redis服务器上CPU的使用能力。

发明内容