[发明专利]一种基于存储联盟子集划分的网格数据副本生成方法

摘要

一种基于存储联盟子集划分的网格数据副本生成方法，是一种根据网格用户数据访问的行为特征，来网格中数据副本创建及其在网格节点上的分布的方法。该方法的基本思想是将数据网格节点划分为彼此之间网络传输速率较好的若干子集合，利用在各子集合中网络延迟小的特点，减少副本创建数目，从而减小网格系统存储开销；同时运用缓存策略，能够在各个网格节点子集合中比较快速的生成副本；最后运用最佳客户策略，在网格节点子集合中调整数据副本的位置，形成良好的数据副本的布局。

主权项

一种基于存储联盟子集划分的网格数据副本生成方法，其特征在于该方法通过网络性能分析工具，将彼此之间网络传输速率高的网格节点划分到各子集合中，利用缓存策略来快速的生成副本，同时通过最佳客户策略来形成合理的副本布局，其步骤主要如下：步骤1.标记网格中的源数据集合为D＝{d1，d2，……，dn}，具有存储能力的网格节点集合为N＝{n1，n2，……，nm}，根据低端数据网格的特点，源数据分布在各个节点中；d1，d2，……，dn为源数据的n个分块，n1，n2，……，nm代表m个网格节点；步骤2.确定网络传输速率的阈值为v，依据v值的大小按照存储联盟子集划分的方法对N进行划分，把N划分为若干子集；步骤3.设定划分基数，以此来确定网格节点子集的大小，若划分基数设为k，则子集的大小在区间[1，k]中；步骤4.选定一个节点ni加入集合A1，并在N中选择任意一个剩余节点，使用网络性能检测工具判断该节点与A1集合中任意节点之间的网络传输速率是否不小于v，若该节点与A1中所有节点间的网络传输速率都不小于v，则将其加入集合A1，否则继续选择一个剩余节点，并判断其是否能够加入A1集合，直到A1子集达到饱和值k或者N中没有剩余节点为止；步骤5.在N-A1中按照步骤3的方法在子集合A2，A3……中加入节点，直到N中所有节点都已经分配到子集合中去，得到子集集合A＝{A1，A2，……，As}；步骤6.规定在任意一个网格节点子集合中，对于D中的任意一个数据包括源数据文件只能存在一个副本，步骤7.按照副本创建中的缓存策略，当用户请求访问数据时便在本地创建此数据的副本，不同的是在用户节点创建数据副本前，先判断该用户节点所在的网格节点子集中是否存在该数据的副本，若存在，则创建，否则不创建；步骤8.按照副本创建中的最佳用户策略来布局副本文件在节点子集中的位置，在数据网格系统的每个节点中保存一个详细的，对于每个数据的历史信息，包括对数据的访问次数和每次访问的节点；步骤9.设定数据访问次数的阈值为f，给定一个时间间隙t，每过时间t，每个节点检查自己记录的历史信息，找出对某个数据访问次数超过阈值f的数据，如果没有找到这样的数据，则不需要对副本的布局作任何变动；如果找到了这样的数据，则根据历史记录信息确定对此数据访问次数最多的网格节点，此节点就是最佳用户；步骤10.判断在该最佳用户中是否存在超过阈值f的数据的副本，这里的副本包括源文件，如果存在，则不需要作任何变动；如果不存在，则在此最佳用户上创建数据副本，并判断该最佳用户所在节点集合中其他节点上是否存在该数据副本，如果存在则删除，步骤11.根据以上规则和机制，在此数据网格系统环境下，随着用户对数据的不断访问，副本逐渐被建立，在每次时间间隔t的历史信息记录的自检过程中，根据最佳用户的策略，逐步调整副本的位置，形成一个网格系统中合理的副本布局。