[发明专利]一种基于一致性hash的网络cache设计方法

说明书

技术领域

本发明涉及计算机网络技术领域，具体涉及一种基于一致性hash的网络cache设计方法，用于服务器集群的缓冲共享和缓存均衡，主要加速大规模数据访问速度和消除单节点缓存失效的影响。本发明可以有效提高服务器集群的IO性能，不但提供统一存储空间，并能将缓存相对均匀的分布到各服务器节点中。

背景技术

传统的服务器集群中，为了实现负载均衡，将N台服务器进行hash取模，将键值为X的数据请求分配或者路由到hash（X）mod N对应的服务器中。

该算法十分简单，但是若增加了服务器的数量，将导致原来的缓存数据进行重新映射，造成服务器集群大量读取硬盘数据的情形，造成很大的系统负载。因此采用传统方式的缓存设计方案无法对现有的集群进行动态扩容。

若服务器集群中存在单服务器节点失效，那么移除该节点也会引起缓存数据和服务器不匹配，因此导致了缓存数据资源剧烈变化，影响了系统的整体性能。

发明内容

本发明要解决的技术问题是：鉴于上述问题，本发明的主要目的在于，提供一种基于一致性hash算法的网络cache设计方法，该方法可以用于服务器集群的缓冲共享和缓存均衡，主要加速大规模数据访问速度和消除单节点缓存失效的影响。

本发明所采用的技术方案为：

一种基于一致性hash的网络cache设计方法，首先将服务器集群的缓存集中，放入统一的资源池内，资源池内的所有资源可以被任一资源调度使用，采用NUMA进行缓存的管理；将hash值放入一个2^m的环形空间中,将单台服务器也看成对象进行hash计算放入hash环中；然后将数据块通过hash算法计算出对应的key值，将该值放入到hash空间中。

若某节点宕机，该节点失效，原来指向该节点的数据块重新缓存到另一节点中，其他数据块仍然缓存到原来的节点中；

若服务器集群需要扩容或者替代失效节点，原来指向失效节点的数据块重新缓存到新增加节点中，其他数据块仍然缓存到原来的节点中。

所述方法将物理节点通过算法得到虚拟节点，并将虚拟节点映射到hash空间。

所述虚拟节点具体设置过程为：将其中的一个Node节点，通过hash算法得到Key值命名，然后将2^m-key的值作为新的key值命名，虚拟出两个节点，两个节点时在hash空间中均匀分布；同理，其他节点也是相同计算，将获得的虚拟节点映射到hash空间中。

本发明的有益效果为：

本发明技术用于服务器集群的缓冲共享和缓存均衡，能够加速大规模数据访问速度和消除单节点缓存失效的影响，可以有效提高服务器集群的IO性能，不但提供统一存储空间，并能将缓存相对均匀的分布到各服务器节点中。

附图说明

图1为服务器集群缓存资源组建缓存池示意图；

图2为数据块通过Hash映射到统一空间示意图；

图3为服务器通过Hash映射到统一空间示意图；

图4为删除服务器操作示意图；

图5为添加服务器操作示意图；

图6为未添加虚拟服务器时数据块分布示意图；

图7为添加虚拟服务器后数据块分布示意图；

图8为未添加虚拟服务器时数据块分布示意图；

图9为添加虚拟服务器后数据块分布示意图。

具体实施方式

下面参照附图所示，通过具体实施方式对本发明进一步说明：

实施例1：

一种基于一致性hash的网络cache设计方法，首先将服务器集群的缓存集中，放入统一的资源池内，资源池内的所有资源可以被任一资源调度使用，采用NUMA进行缓存的管理；将hash值放入一个2^m的环形空间中,将单台服务器也看成对象进行hash计算放入hash环中；然后将数据块Object A、B、C和D通过hash算法计算出对应的key值，将该值放入到hash空间中；通过以上两部操作就将服务器节点和数据块都映射在同一hash空间，然后按照顺时针方向将数据块放入到对应的服务器节点中，如图2、图3所示。