[发明专利]基于文件存储动态聚合的优化方法

权利要求书

1.一种基于文件存储动态聚合的优化方法，其特征在于该优化方法通过将文件动态组合，获取节点经常访问的文件的副本并打包存储于本地节点，减少节点远程读取文件的次数，降低用户数据访问延迟，具体步骤如下：

1）基于数据主本判定是否数据交叠，检查用户发出的请求文件是否在本地节点，有数据交叠，则该请求文件存在本地节点；无数据交叠时，则进入步骤2）；

2）基于副本放置的最优化算法，检查本地是否用足够的存储空间容纳请求文件，有存储空间，则选择一个耗费代价最低的远程节点获取该请求文件副本，代价包含文件传输时间和在远程节点上的排队时间；无存储空间，则转步骤3）；

3）基于存储空间的优化算法，计算节点远程读取请求文件的次数t₁；计算本地节点存储的所有文件中读取最少的文件的次数t₂，若t₁> t₂，则删除后者并腾出空间存储请求文件。

2.根据权利要求1所述的基于文件存储动态聚合的优化方法，其特征在于：步骤1）中，基于数据主本判定是否数据交叠算法如下：

设系统中共有n个节点                                                ，每个节点含有m个文件，用户在访问时，对某一节点发出文件请求，假设请求包含多个文件，该请求可以表示为一个文件集合；

定于节点有数据主本，那么由生成的集合即为需要复制的对象；设请求文件的数据主本为，当用户访问时，对任意的和, 可有两种情况：或者，即与可能有交叠数据也可能没有交叠数据；

当，即有数据交叠时，该请求文件存在本地节点；当，即无数据交叠时，进入步骤2）；将交迭数据内容用集合表示：，则：，即使当和在同一个站点都存在时不进行交叠数据重复传播。

3.根据权利要求1所述的基于文件存储动态聚合的优化方法，其特征在于：步骤2）中，基于副本放置的最优化算法如下：

对于某个文件，假设其副本使用代价为，其中，创建副本的成本为，访问副本的费用为，正常数和表示创建和访问副本在总代价中所占的权重,则；副本放置策略就是在满足规定的约束条件下，使得副本创建与访问的代价总和最小；

假设创建副本的站点的存储空间为,则所有站点平均存储空间为，而反映了平均存储空间与站点的存储空间的比值；

假设：表示在某段时间内对站点的某个副本的请求次数，站点访问副本站点的一次费用为，可用站点与之间的最短路径时间表示，那么；即文件请求次数越多，函数值越大；若，即站点未发出对副本文件的访问请求，那么它就不产生访问副本的费用；根据上述分析有

                    (1)

因此,副本放置问题可转化为如下最优化问题：

目标函数：

                  (2)

约束条件：

                               (3)

                           (4)

                      (5)

其中，目标函数(2)使得各站点的副本创建成本加上各请求站点到与它最近的副本存放站点的成本加权总和最小， 和的大小是经验值，根据副本存储空间和副本请求次数对响应时间的影响程度来设置；约束条件(3)表示可以创建的副本数目为个；约束条件(4)表示每个请求站点只对应惟一的一个副本站点为它服务；约束条件(5)表示如果副本位于站点，那么站点的副本请求只能指派到站点；

计算在时间周期内的传输代价，以决定是否重新放置副本来换取最优的平均响应时间；因此，新的目标函数由式(2)更改为

                   (6)

与式(2)相比，新的目标函数式(8)中增加了一项调整成本的累加，实现对时间周期内的迭代计算，每个变元符号添加了一个上脚标；其中，若在周期内站点的副本需要重新放置，则，否则；表示在周期内将离站点最近的站点的副本传输到站点的成本。

4. 根据权利要求1所述的基于文件存储动态聚合的优化方法，其特征在于：步骤3）中，基于存储空间的优化算法如下：

文件f_i相对于作业j_k的相关度定义为作业j_k访问过f_i的总次数，表示为；

文件f_i相对于一组作业本地集合的相关度定义为作业集合J中的作业访问过文件f_i的总次数，即；

若将本地运行的作业集合表示为J_local，文件f_i相对于本地作业集J_local的相关度记为；则文件动态组合的副本复制策略的目标是尽可能保留具有较高G_local的文件存储在本地，并删除具有较低G_local的文件，为新副本的创建腾出空间。