[发明专利]一种动态自适应的网格数据迁移方法

说明书

技术领域

本发明是一种网格计算中的数据迁移方法，主要用于解决网格数据迁移的问题，属于分布式计算软件领域。

背景技术

网格计算是一个分布式和并行计算的支持平台，是一种无缝、集成计算和协同环境。它可以作为虚拟的整体使用在地理上分散的计算资源，如高速互连的异构计算机、数据库、科学仪器、文件和超级计算系统等。基于Internet的网格计算系统不但能使人们聚集分散的计算能力、形成超级计算的能力，解决诸如高能物理、大气、天文、生物信息和石油地质等许多重大应用领域中的问题(诸如虚拟核爆炸、新药研制、气象预报和环境监测等)，而且还能使人们共享和充分利用网络中的各种资源。简言之，网格把整个Internet整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享和协同。

由于网格计算的这些优势，它在科学计算、数据存储、虚拟现实、军事以及电子商务等各个领域展开了广泛的研究和应用开发，且都有着良好的应用前景，对网格计算技术的研究也日益受到各国政府和科研机构的重视。网格计算主要包括：信息管理、数据管理、资源管理、作业管理以及安全管理等功能模块，其中数据管理是把网格应用到实际问题中的关键技术之一，而数据迁移是一种不产生数据副本的数据管理机制，目的就是为了提高数据请求的响应速度。因此研究有效的数据迁移方案能够更好地提高网格数据管理能力，具有重要的意义。

数据迁移主要需考虑两个方面的问题：(1)数据迁移到新节点的选择(2)数据迁移后如何把原来数据的URL访问请求引导到新的位置。对于数据迁移而言，选择一个合适的新节点作为移动数据的目的节点，有诸多因素需要考虑：首先该节点的可达带宽要大于或者等于该数据未来一段时间的可能的请求带宽，其 次新节点的数据容器要支持待迁移的数据，最后新选择的节点的数据访问负载要小，避免移动数据后造成该节点负载过大。而数据迁移后如何把按原来数据的URL访问请求引导到新的位置，也是数据迁移的关键技术。

发明内容

技术问题：本发明的目的就是提供一种动态自适应的网格数据迁移方法，来解决网格环境下的数据迁移问题，本机制是一种策略性方法，通过使用本方法可以使得网格数据在一定条件下动态自主地进行迁移。

技术方案：本发明的方法是一种策略性的方法，通过一种基于基因表达式编程算法来选择网格节点，从而解决了数据在发生迁移时新节点的选择，同时基于索引技术来完成把迁移后的数据从原来的位置引导到新的位置上。

一、体系结构

图1给出了动态自适应的网格数据迁移结构图，它主要包括四个部分：数据迁移控制器、目标节点选择器、索引分析器以及数据迁移操作核心。图中的数据迁移操作核心包括了在目标节点选好的情况下，对数据进行迁移所需的所有具体操作。本发明增加了其它三个部分并不影响对数据本身的迁移动作，只是保证数据迁移更加顺利有效地进行。

下面给出具体介绍：

数据迁移控制器：数据的移动主要有网格系统管理下的数据移动和数据拥有者请求下的数据迁移两种情况。当一个数据需要迁移时，表明该数据在这个节点上的存在已经不能给网格用户提供所需的服务质量，或者造成了传输资源的浪费。数据迁移控制器可以通过判断上述这些发生数据迁移的条件是否满足来决定是否进行数据的迁移。在本专利中对数据迁移控制的具体实现不做任何限制。

目标节点选择器：数据从一个节点迁移到另一个节点上时，需要从诸多的网格节点中选择一个合适的节点作为迁移数据的目标节点，并把数据迁移到新选择的节点上。而新节点的选择需要满足节点的请求带宽要足够大、新旧节点的数据容器要一致以及节点的负载不能过大等条件，节点选择器主要就是通过基因表达式编程来选择满足上述条件的新节点。

索引分析器：数据迁移后如何把按原来数据的URL访问请求引导到新的位置，这是数据迁移管理的关键环节。通过在原节点建立一个索引表，用户请求数 据时，会通过数据名查询索引表，再通过索引表自动把用户访问请求引导到新的位置。

二、方法流程

1、数据迁移控制器

网格中的数据是否发生迁移取决于数据在当前节点上的存在已经不能满足用户的服务质量需求或者造成了传输资源的浪费。为了及时判断出当前网格中的数据是否要发生迁移，在本方法中，建立一个数据迁移知识规则库，把当前反映数据是否发生迁移的条件输入到数据迁移知识规则库中，用户定时采集网格中数据提供给用户的服务质量情况以及传输资源的利用情况，然后查询数据迁移知识规则库来判断当前数据是否需要发生迁移。

2、目标节点选择器