[发明专利]一种基于存储联盟子集划分的网格数据副本生成方法

说明书

技术领域

本发明是一种网格中数据副本创建问题的解决方案，主要用于解决低端网格 中数据副本的创建问题，属于分布式环境下数据管理领域。

背景技术

自20世纪90年代以来，随着互联网技术的迅速发展，为了解决网络虚拟环境 上的高性能资源共享和协同求解问题，网格(Grid)技术应运而生，并且得到了广泛 应用。目前，各个国家都已经建立了许多面向多种应用的网格，仅在国内就已经 建立了中国国家网格、973语义网格、863网格、上海网格、织女星网格等多个网 格。网格这种新型分布式计算的基础架构被广泛应用于多种重大应用研究问题， 已经成为国家级高性能计算和信息服务的战略性基础设施。

根据应用目标的不同，网格可以分为计算网格、数据网格、语义网格等，在各 种网格，特别是数据网格中，都需要进行分布式环境下的数据管理，以便对各种 数据资源的提供一体化访问。为了减少访问数据时的延迟，减轻网络带宽的消耗， 往往在任务执行的节点或者其附件节点上缓存该任务所需的数据的副本。同时， 由于网格节点的动态性，数据副本的采用也增强了网格的容错性和可靠性，并且 使整个网格具有较好的负载平衡。这样，随着数据副本的采用而出现的数据副本 管理成为各种网格(特别是数据网格)中数据管理的重要组成部分之一，其性能也对 网格中数据管理，甚至整个网格的性能也产生重大影响。

在数据网格系统副本管理所涉及的副本创建、副本定位、副本选择和副本一致 性管理等问题中，副本创建是基础。副本创建服务主要负责根据数据网格系统的 应用特征、用户访问特征等信息，自动将数据复制到数据网格系统的不同节点上， 为数据创建多个副本，实现副本创建服务的关键是副本创建策略。为了适应特定 数据网格系统的应用特征，副本创建通常需要采取与之相适应的策略。

跟欧洲数据网格相比，低端数据网格系统具有以下不同特点：

1.拓扑结构：低端数据网格系统基于P2P拓扑结构；

2.源数据分布：低端数据网格系统的源数据通常分布存储于不同网格节点上；

3.网络环境：低端数据网格系统通常基于带宽得不到保证的Internet网络环境；

4.节点存储能力：由于低端数据网格系统通常基于历史遗留系统，甚至是桌面计算 机系统，单个网格节点的存储能力有限。

目前已有的副本创建策略，如瀑布副本创建策略、缓存加瀑布副本创建策略 以及快速传播副本创建策略主要是针对数据存储于顶层节点、基于层次式拓扑结 构的数据网格系统开发的，因此无法应用于具有P2P拓扑结构、源数据分布存储 于不同网格节点的低端数据网格系统；而最佳用户副本创建策略、基于缓存的副 本创建策略和基于经济模型的副本创建策略，虽然可以应用于具有P2P拓扑结构 以及源数据分布存储的数据网格系统中，但由于它们并没有针对低端数据网格系 统的拓扑结构、源数据分布、网络带宽以及节点存储能力有限等特点进行相应的 设计，故其系统性能较差。因此，需要根据低端数据网格系统的特点，开发适合 低端数据网格系统的副本创建策略。

发明内容

技术问题：本发明的目的是提供一种基于存储联盟子集划分的网格数据副本 生成方法，根据低端数据网格系统的特点，来有效的创建副本并形成合理的副本 布局。

技术方案：本发明的方法是一种基于存储联盟子集划分的网格数据副本创建 策略，通过划分数据网格节点到子集合中，同时结合缓存策略以及最佳客户策略， 来创建网格数据副本并形成合理的副本分布。其基本思想是将彼此之间网络传输 速率较好的网格节点划分到各子集合中，利用缓存策略来比较快速的生成副本， 同时通过最佳客户策略来形成合理的副本布局。

该方法的主要步骤如下：

步骤1.标记网格中的源数据集合为D＝{d₁，d₂，……，d_n}，具有存储能力的网格 节点集合为N＝{n₁，n₂，……，n_m}。根据低端数据网格的特点，源数据分 布在各个节点中；d₁，d₂，……，d_n为源数据的n个分块，n₁，n₂，……， n_m代表m个网格节点；