[发明专利]基于文件存储动态聚合的优化方法

说明书

技术领域

本发明属于分布式存储领域，具体地说是一种基于文件存储动态聚合的优化方法。

背景技术

分布式存储建立了海量数据的一体化存储、处理、访问、传输与服务的架构和异构分布环境，数据的复制不仅可以提高数据访问的效率，而且能提高系统的负载均衡性和可靠性。

传统复制方法是将一个数据主本复制给不同站点的副本，此情况存在原因是过去或现在的某些复制需求以及处理流程比较简单。随着数据复制技术的发展，情况发生了许多变化，在同一数据源对象上可划分出不同的复制源副本，这些不同复制源副本独立具有自己的多个副本，这种情况称为“多分割副本复制”(Multi-Intersected Copy Replication，简称MICR)。尽管针对多分割副本复制的研究已经出现，但仍有部分问题没有解决，主要是未修改的主本数据不进行传播和并行链路的多分割副本复制问题。

另外，基于经济学模型的复制策略，是按照反向拍卖协议确定副本创建位置及进行副本选择，它将数据传输时间作为拍卖的价格指标。该模型在评估数据复制价值时存在这样的问题：节点往往根据自身利益进行决策，因而不一定得到全局最佳效益。

发明内容

为了使分布式存储的整体性能达到最优，本发明的目的是提供一种基于文件存储动态聚合的优化方法，该优化方法选择被复制的副本不仅在当前耗费代价最小, 在以后的时间内耗费代价也为最小，得到全局最佳效益，减少节点远程读取文件的次数，降低用户数据访问延迟。

本发明的目的是通过以下技术方案来实现的：

一种基于文件存储动态聚合的优化方法，其特征在于该优化方法通过将文件动态组合，获取节点经常访问的文件的副本并打包存储于本地节点，减少节点远程读取文件的次数，降低用户数据访问延迟，具体步骤如下：

1）基于数据主本判定是否数据交叠，检查用户发出的请求文件是否在本地节点，有数据交叠，则该请求文件存在本地节点；无数据交叠时，则进入步骤2）；

2）基于副本放置的最优化算法，检查本地是否用足够的存储空间容纳请求文件，有存储空间，则选择一个耗费代价最低的远程节点获取该请求文件副本，代价包含文件传输时间和在远程节点上的排队时间；无存储空间，则转步骤3）。

3）基于存储空间的优化算法，计算节点远程读取请求文件的次数t₁；计算本地节点存储的所有文件中读取最少的文件的次数t₂，若t₁> t₂，则删除后者并腾出空间存储请求文件。

本发明中，基于数据主本判定是否数据交叠的算法如下：

设系统中共有n个节点                                                ，每个节点含有m个文件，用户在访问时，对某一节点发出文件请求，假设请求包含多个文件，该请求可以表示为一个文件集合。

定于节点有数据主本，那么由生成的集合即为需要复制的对象。设请求文件的数据主本为，当用户访问时，对任意的和, 可有两种情况：或者，即与可能有交叠数据也可能没有交叠数据。

当，即有数据交叠时，该请求文件存在本地节点。当，即无数据交叠时，进入内容2。这里将交迭数据内容用集合表示：，由此可推出：，这样描述的目的是使当和在同一个站点都存在时不进行交叠数据重复传播。

基于副本放置的最优化算法如下：

对于某个文件，假设其副本使用代价为，其中，创建副本的成本为，访问副本的费用为，正常数和表示创建和访问副本在总代价中所占的权重,则。副本放置策略就是在满足规定的约束条件下，使得副本创建与访问的代价总和最小。

假设创建副本的站点的存储空间为,则所有站点平均存储空间为，而反映了平均存储空间与站点的存储空间的比值。

假设：表示在某段时间内对站点的某个副本的请求次数，站点访问副本站点的一次费用为 (可用站点与之间的最短路径时间表示)，那么。可以看出，文件请求次数越多，函数值越大；若，即站点未发出对副本文件的访问请求，那么它就不产生访问副本的费用。根据上述分析有

                    (1)

因此,副本放置问题可转化为如下最优化问题：

目标函数：

                  (2)

约束条件：

                               (3)

                           (4)