[发明专利]一种数据网格副本的选择方法

说明书

技术领域

本发明是一种数据网格副本选择算法，主要用于解决在分布着大量数据和计算能力的数据网格环境下，对海量的数据副本进行最优化选择以达到提升数据网格性能的问题。该发明属于数据网格技术领域。

背景技术

数据复制与副本创建

数据网格(Data Grid)是当前网格领域的研究热点，其目标是使地理上广泛分布的用户能够共享数据资源，以完成对大规模海量数据集的复杂分析和处理。数据网格系统为提高数据的可靠性以及降低用户对远端数据的访问延迟带宽消耗，广泛采用数据复制技术以提高系统性能。数据复制技术通过在数据网格系统内提供多个数据副本以缩短数据的访问延迟，实现系统容错及负载平衡等。副本是某一文件的确切拷贝，并且通过某种明确的机制与源文件相联系。同一文件的不同副本可以有不同的一致性级别和存活时间。由于数据网格系统分布于广域网上并具有一定的动态性i量、用户量都很大，因此一般由数据网格系统在运行时刻动态创建数据副本。

副本定位与选择

在这种情况下，用户任务所需的相当一部分数据是分布在各自分散的网格节点上。要在如此广域分布的数据中进行有效快速的访问，需要对数据副本进行优化选择。副本优化选择就是指基于副本性能和访问特性从一组副本中选择一个最佳副本的过程。

数据副本的优化选择具有非常关键的作用，其很大程度上决定了数据网络资源的利用率。在理想情况下，被选择的副本提供最佳性能。副本选择的关键是对远程数据访问时间的预测，这依赖于很多因素，如传输特性、用户和服务器间的网络状态、副本所在节点的负载情况及磁盘I/O读取速度等。

数据副本选择的因素

副本选择算法的优劣很大程度上取决于对影响副本选择因素参数的选取。这些因素成为副本选择的主要依据，主要包括以下几个方面：

磁盘I/O传输：针对副本选择策略而言，主要指磁盘读取时间。低的读取时间能降低数据副本的远程访问时间。

网络状态：在进行副本选择时，通用的作法是选择最小延迟的链路进行数据访问。传输带宽决定了数据的传输速率，因此网络中最大可用传输带宽可成为副本选择的一个依据，并且平均传输带宽可以帮助预测对某一特定副本的访问情况。

存储副本节点的负载情况：如果许多个任务需要访问某一网格节点上的相同数据副本，则该节点访问负载也是影响数据远程访问时间的重要因素之一。

一个良好的副本策略常常具有以下优点：

(1)减少数据访问延迟。数据被复制到本地，这里的本地可以指一个VO(虚拟组织)，一个Site(网格中的站点)等，显然程序的运行不会因为缺少数据而停顿。

(2)减少网络带宽的消耗，避免拥塞。数据被事先拷贝到本地，以后的程序运行不必再到远程读取，节省了网络带宽。

(3)对服务器端的负载起到平衡作用。经过拷贝后使数据分散，对数据的请求只有一部分仍然需要到服务器获取，有效的减缓了服务器的负载。

(4)提高数据的可用性。在数据已经被拷贝到本地的情况下，如果服务器发生失败，也不会影响本地程序的运行。

技术现状与问题

由于对数据网格的研究较之计算网格起步晚，很多副本选择策略主要集中在对计算网格中计算资源的选择。“网格之父”Ian Foster在他的著作中提出了几种不同的副本/缓存策略，包括最佳客户副本策略、瀑布副本策略、基于缓存的副本策略、缓存加瀑布副本策略、快速传播副本策略、基于经济模型的副本策略。上述副本策略在大部分情况下都能够缩小访问延迟并节省网络带宽.。但瀑布副本策略、缓存加瀑布副本策略以及快速传播副本策略是拓扑结构为层次式且源数据存储于顶层节点的数据网格所独有的副本策略，其通用性并不理想。而最佳客户副本创建策略、基于缓存的副本创建策略和基于经济模型的副本创建策略虽然可克服上述缺点，但其并没有考虑一些规模较小的数据网格的拓扑结构、数据分布、网络带宽以及节点存储能力等特点，故其性能较差。值得一提的是基于经济模型的副本策略使用拍卖成本协议进行副本选择以及动态副本创建，进行副本选择的同时还融入了副本的创建与数据的访问模式。由于该策略综合了副本创建定位等多方面因素，可以得到较好效率，但不曾考虑副本存储节点的负载动态平衡情况。还有些学者提出了基于概率模型的副本选择算法并使用一个中间部件对副本进行选择，概率模型以先前副本访问的历史记录作为输入，在此基础上对副本选择情况进行预测。实验结果表明，上述策略都存在着不同程度的弊端。因此，提出一种新的副本定位与访问策略就显得很有必要。

发明内容