[发明专利]基于Redis缓存的数据处理方法及系统

说明书

本申请涉及一种基于Redis缓存的数据处理方法及系统，其中，该基于Redis缓存的数据处理方法包括：Redis集群搭建步骤，用于搭建Redis集群，配置负载均衡策略并配置Redis注册中心；数据写入步骤，用于获取一客户端的写入请求，将所述客户端的写入请求经至少一应用实例写入到数据库中，并将该写入请求的写入key进行热点数据处理后写入到所述Redis集群中每一Redis节点的master_key；数据查询步骤，用于获取所述客户端的查询请求并基于所述负载均衡策略通过所述应用实例将所述查询请求转发到所述Redis节点和/或所述数据库中获取查询结果。通过本申请减少Redis集群配置的复杂性，降低研发运维成本。

技术领域

本申请涉及互联网技术领域，特别是涉及基于Redis缓存的数据处理方法、系统、计算机设备和计算机可读存储介质。

背景技术

目前的互联网环境往往伴随着高并发请求的场景，当系统的用户量积攒到一定量级时，IO读写往往会成为影响系统性能的关键。将热点数据写入缓存，相当于在请求和存储系统中间增加一个缓冲层，减少关系型数据库的IO操作，可以显著提升系统性能。目前的缓存场景大多是基于第三方中间件实现的。其中Redis作为缓存技术大军中的一员，凭借其丰富的数据结构、线程安全、淘汰策略、快照等特性，在缓存领域得到广泛使用。

现有的Redis集群缓存实现方案，都是基于主从节点、哨兵模式、哈希槽实现的。当数据量不断增大时，单个节点的性能达到瓶颈，就需要增加子节点扩大集群范围。该方案可以实现Redis集群的使用和扩展，可以作为生产方案。但是问题也比较明显，那就是配置繁琐、节点职责划分过细、链路跟踪复杂。

上述基于主从节点、哨兵模式、哈希槽实现集群的技术方案，主要是通过对查询的key进行虚拟槽位计算，找到子节点，子节点由主从节点组合而成，分别实现写和读操作，并对应更新槽点的热点数据。该技术方案中主从节点的监控和故障自动切换则由哨兵实现，使得节点分配的职责过多，开发及维护成本过高，不适用于小系统使用。而基于读写分离的方式实现集群的技术方案客户端请求通过负载均衡发布到各个服务实例，使用单独的模块计算热点数据，并将热点数据分别在各个服务实例和Redis从节点中进行缓存，如此一来，使得同一份热点数据多处缓存，维护成本高；在服务实例缓存热点数据，也消耗了服务系统资源。

发明内容

本申请实施例提供了一种高可用、可扩展且简化的基于Redis缓存的数据处理方法、系统、计算机设备和计算机可读存储介质，减少Redis集群配置的复杂性，降低研发运维成本。

第一方面，本申请实施例提供了一种基于Redis缓存的数据处理方法，包括：

Redis集群搭建步骤，用于搭建Redis集群，配置负载均衡策略并配置Redis注册中心；

数据写入步骤，用于获取一客户端的写入请求，将所述客户端的写入请求经至少一应用实例写入到数据库中，并将所述写入请求的写入key进行热点数据处理后写入到所述Redis集群中每一Redis节点的master_key；

数据查询步骤，用于获取所述客户端的查询请求并基于所述负载均衡策略通过所述应用实例将所述查询请求转发到所述Redis节点和/或所述数据库中获取查询结果。

上述步骤，基于Redis集群实现了基于Redis缓存的读写分离的数据处理方法，Redis节点维护master_key，对主从节点的依赖关系解耦；本申请实施例的数据处理方法有效减少Redis集群配置复杂性、降低研发运维成本，可以轻松扩展应用实例和Redis节点。

在其中一些实施例中，所述数据写入步骤进一步包括：

写入请求获取步骤，用于获取所述客户端的写入请求并基于所述负载均衡策略将该写入请求转发到所述应用实例；

写入服务步骤，用于所述应用实例向所述数据库发起请求，写入数据；