[发明专利]基于内容相似性的分布式储存的副本替换算法

说明书

技术领域

本发明属于分布式存储领域，涉及一种基于内容相似性的分布式储存的副本替换算法。可将其应用到云存储、数据网格存储和分布式存储等领域。

背景技术

在分布式计算中，由于广域网和Internet的高延迟，数据读取的速度受网络的影响越来越大，同时也影响了整个分布式环境的可扩展性。为了解决这一难题，大量数据需要复制在广泛分布的多个节点上。然而节点中存储空间的数量和大小是有限的，当存储空间的副本达到一定的阈值时，存储空间的输入输出性能将会急剧的下降。所以当一个新的数据副本到达以后使得存储空间中所存储的副本大小超过了阈值，必须启动副本替换算法删除一些副本为新的副本空出空间。传统替换算法有最少使用频率副本替换算法和最近最少使用副本替换算法等等。

最少使用频率副本替换算法是一种基于副本使用频率的副本替换算法。当新到达存储空间的副本需要空间时，该算法将删除引用数最低的副本，同时定期的减少被缓存的副本引用计数器的值，这样可以减少一些以前流行现在不流行的副本对最少使用频率副本替换算法的干扰。

最近最少使用副本替换算法是基于副本引用时间的副本替换算法。当需要启动替换算法时，该算法将删除最长没有被引用的副本。然而和最少使用频率副本替换算法一样，它并不能预测未来时间窗口内的热点数据。同时最近最少使用副本替换算法是一种歧视性算法，对比较早到达的副本是不公平的。

发明内容

为了克服上述两种算法的缺点，使分布式存储的整体性能达到最优, 选择被替换的副本不仅是当前代价最小的, 也应该是在以后的时间内代价最小的，本发明的目的是提供一种基于内容相似性的分布式储存的副本替换算法，该算法提高了分布式存储的中文本替换的效率，减少了网络资源的消耗，在分布式存储领域具有重要的意义。

本发明的目的是通过以下技术方案来实现的：

一种基于内容相似性的分布式储存的副本替换算法，其特征在于该算法提取最少使用的副本，并在此基础上提取最长没有被引用的副本，然后综合使用两种算法实现副本替换；具体步骤如下：

1）基于内容相似性计算副本价值；

首先定义副本空间集合{R}和副本ID空间集合{r}，设定副本的标识符为一个正整数，内容的相似性定义成集合{R}和集合{r}之间的映射，若|r1-r2|的值越小，则副本R1 和 R2 的相似度越大；

2） 计算复制代价；

引入代价因子来考虑由于大小以及带宽所引起的替换代价；定义C为代价因子，                                                ，其中，S_k代表副本大小，B_d代表复制请求节点与拥有该副本节点间的带宽；若多个节点都存储有副本k，则仅考虑与复制请求节点相连的最大带宽并赋值给B_d；

3） 基于内容相似性的分布式储存的副本替换算法；

标识符为k的替换测度F(k)如式(9)所示：

                             (9)

其中F(k)表示副本k的替换测度，替换测度越大，越应该被保留，完成基于内容相似性的分布式储存的副本替换算法。

本发明步骤1）中，假设副本访问从标识符为r0的副本开始，访问历史可以看作一系列的随机步，si(其中i>0)表示副本标识符之差的绝对值，其表示如式(1)所示：

                              (1)

根据时间空间局部性定理，在文件空间中彼此靠近的文件更有可能被连续的访问到；

若初始访问对象为f0，由于第n次访问的副本标识符fn可用式(2)所示：

                    (2)

则fn同时可以用式(3)表示：

                               (3)

假设任意相邻两次副本访问的标识符只绝对值之差为1，即