[发明专利]为热点内容设置副本的方法

说明书

为热点内容设置副本的方法，包括：步骤1：大数据系统具有n个服务器，采用一致性哈希算法，将这n个服务器放置到哈希函数的值空间为0‑()的哈希空间环上，其中K=32；具体方式是对各个服务器的服务名执行哈希算法，输出的哈希值的长度为K。

技术领域

本发明属于大数据的负载均衡领域。

背景技术

一致性哈希算法(Consistent Hashing Algorithm)是一种分布式算法，常用于负载均衡。Memcached client也选择这种算法，解决将key-value均匀分配到众多Memcachedserver上的问题。它可以取代传统的取模操作，解决了取模操作无法应对增删MemcachedServer的问题(增删server会导致同一个key，在get操作时分配不到数据真正存储的server，命中率会急剧下降)。

但现有技术中，采用一致性哈希算法和虚拟节点的方式，做到了将数据大致均匀的分布到各个节点上，但是没有考虑数据之间的冷热性。而现实的应用中，数据的冷热差异很大，从而导致对各个节点的访问量是不均匀的。当连接数过大时，系统将无法提供服务。从而导致负载不均衡的问题出现。

发明内容

为热点内容设置副本的方法，包括：

步骤1：大数据系统具有n个服务器，采用一致性哈希算法，将这n个服务器放置到哈希函数的值空间为0 - ()的哈希空间环上，其中K=32；具体方式是对各个服务器的服务名执行哈希算法，输出的哈希值的长度为K；

步骤2：大数据系统开始运行后，监控器周期性监测各个服务器的负载参数，具体方式为：在时刻t服务器i的负载为，其中是采样时间间隔，每隔监控器向各个服务器发送请求，服务器将本节点当前的值返回给监控器，监控器会保存上次计算负载时的返回值；

步骤3:计算t时刻服务器群的平均负载为：；

步骤4：计算t时刻服务器群的负载方差为：；步骤5：如果未超过预定值，则返回步骤2，否则执行步骤6；

步骤6：从所有服务器中找到负载最大的服务器；

步骤7：从该负载最大的服务器上找到最近一段时间(例如是1天)内被访问次数最多的m个内容文件，例如可以预先将m设定为10；

步骤8：为这m个内容文件设置副本名称。优选的方式是在原始文件名后添加副本号，例如原始文件名为：file name，则副本名可以设置为file name #1。如果已经存在了一个副本，副本名为file name #1，后续还需要再增加副本时，可以将副本名设置为file name #2。

步骤9：计算副本名的哈希值，根据一致性哈希算法，将该副本存入相对应的服务器上。所有的副本信息都存放到一个负载服务器上，当用户需要访问某个文件内容时，先向负载服务器发送请求，负载服务器通过查询发现该内容没有设置副本，则直接根据现有的处理流程处理直接去访问原始内容，如果发现了存在副本，则从原始内容和副本内容中随机选择一个内容进行访问。从而实现了热门内容的多副本设置，降低单个服务器的访问压力。

步骤10：返回到步骤2。

为热点内容设置副本的方法，包括：

步骤1：所述大数据系统中具有n个服务器，采用一致性哈希算法，将这n个服务器放置到哈希函数的值空间为0 - ()的哈希空间环上，其中K= 31+；具体方式是对各个服务器的服务名执行哈希算法，输出的哈希值的长度为K；

步骤2：大数据系统开始运行后，监控器周期性监测各个服务器的负载参数，具体方式为：在时刻t服务器i的负载为，其中是采样时间间隔，每隔监控器向各个服务器发送请求，服务器将本节点当前的值返回给监控器，监控器会保存上次计算负载时的返回值；

步骤3:计算t时刻服务器群的平均负载为：；