[发明专利]分布式缓存管理系统和实现分布式缓存管理的方法

说明书

技术领域

本发明涉及分布式缓存管理技术领域，具体而言，涉及一种分布式缓存管理系统和一种实现分布式缓存管理的方法。

背景技术

在B2C电商实践中，为了改善用户浏览图片的速度，但同时减少图片存储服务器的访问压力，采用了Memcached（分布式内存对象缓存服务器）实现cache（高速缓冲存储器）集群，达到分担来自前端的请求。在运营的过程中，随着Memcached中实例的不断增加，开始出现以下问题：

1.n台分布的Memcached做实际数据的存储，每台Memcached存放数据总量的一个子集(分布算法：Key映射整数值，再根据已有server数取模)，随着Memcached实例数量的增加，管理、维护的难度也相应增加；

2.新增x台Memcached进行扩容，已有数据需要作大规模迁移，且同时一定时间内cache命中较低；

3.如有Memcached服务异常退出，如不能迅速拉起，会影响前端访问的体验，或者可能导致数据分布的重计算，使得Memcached的SLA（Service-Level Agreement，服务等级协议）级别较低；

4.因为缺乏统一分配、管理机制，可能会存在数据在多个Memcached存在实例的情况，导致数据不一致或不同版本数据冲突的情况。

因此，需要一种新的分布式缓存管理技术，可以对分布式内存对象缓存服务器中的数据进行有效管理，提高请求响应和数据处理的效率。

发明内容

本发明正是基于上述问题，提出了一种新的分布式缓存管理技术，可以对分布式内存对象缓存服务器中的数据进行有效管理，提高请求响应和数据处理的效率。

有鉴于此，本发明提出了一种分布式缓存管理系统，包括索引服务器和分布式内存对象缓存服务器，其中，所述索引服务器包括：索引建立单元，用于根据接收到的数据缓存请求，将对应的数据存储至分布式内存对象缓存服务器中，并为缓存的数据建立索引；数据获取单元，用于根据接收到的数据获取请求，获取对应的索引，并利用该索引从所述分布式内存对象缓存服务器中获取对应的数据。

在该技术方案中，在分布式内存对象缓存服务器的前端设置索引服务器，通过为缓存的数据建立索引，当用户希望获取某个数据时，能够由索引服务器根据索引及时准确地查找到该数据，在缓存的数据量较大时，依然能够对每个数据进行有效管理，并提高数据查找效率。在由多台分布式内存对象缓存服务器构成服务器集群时，其中的部分服务器出现问题时，不会对其他的服务器造成影响，使得整个系统保持高可用性。

在上述技术方案中，优选地，所述索引服务器还包括：数据判断单元，用于根据需要缓存的数据的关键字以及已建立的索引，判断是否存在相同的已缓存数据，若存在，则进一步判断所述需要缓存的数据的版本号是否高于所述已缓存数据的版本号；数据替换单元，用于在所述需要缓存的数据的版本号高于所述已缓存数据的版本号的情况下，将所述需要缓存的数据替换所述已缓存数据，否则拒绝所述数据缓存请求。

在该技术方案中，通过对数据版本号的比较，实现对于数据的更新，并避免出现低版本的数据对高版本数据的覆盖。

在上述任一技术方案中，优选地，所述索引服务器还包括：时间记录单元，用于记录建立索引的时间；以及存储控制单元，用于在所述分布式内存对象缓存服务器中的已使用内存容量大于或等于预设的容量阈值的情况下，利用新建立的索引及对应的数据替换建立时间最早的已建立索引及对应的数据。

在该技术方案中，对于已使用内存容量不足的情况下，根据建立时间进行新老替换，从而可以比较好地处理索引数量的不断增加与有限的内存容量之间的供需矛盾。

在上述任一技术方案中，优选地，所述分布式内存对象缓存服务器的数量为多个，则所述索引服务器还包括：位置确定单元，用于根据所述分布式内存对象缓存服务器的实时状态，确定需要缓存的数据的存储位置，其中，所述实时状态包括以下至少之一或其组合：所述分布式内存对象缓存服务器的个数、容量、内存空闲程度。

在该技术方案中，不再按照Key取模的方式进行处理，从而实现更好的负载均衡分配。