[发明专利]一种大数据系统的节点迁移方法

说明书

本发明涉及一种大数据系统的节点迁移方法，该方法由源节点基于多个节点的节点负载利率和空闲网络带宽，分配向多个节点的迁移数据量，最后由所述多个节点再将数据迁移到目标节点。该方法提高节点迁移效率，使源节点在短时间内完成节点迁移工作。

【技术领域】

本发明属于计算机和互联网领域，尤其涉及大数据领域，具体的，涉及一种大数据系统的节点迁移方法。

【背景技术】

随着计算机和互联网技术的快速发展，我们处在了一个信息爆炸的时代，为了处理大量的信息，出现了大数据的概念。所谓大数据，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

由于数据的海量特性，人们仅仅凭一己之力很难对这些数据这些分析，但是在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据逐步为人类创造更多的价值。

由于大数据系统具有海量数据，其通常使用多个数据节点来存储数据，每个节点在地理上可能是分散的，当一个节点出现问题，或者由于管理需要，其所存储的数据需要迁移到一个新的目标节点，现有技术中的节点迁移通常只是直接将数据从源节点传输到目标节点，在迁移完成后，源节点关闭。但是在这种方式下，迁移同时取决于源节点和目标节点两者的数据传输速度，效率较低，由于节点迁移常常在紧急情况下发生，源节点需要尽快关闭，或者源节点就无法支持太长时间，这种迁移方式就不适合了。

【发明内容】

为了解决上述问题，本发明提出了一种大数据系统的节点迁移方法。

本发明采用的技术方案如下：

一种大数据系统的节点迁移方法，包括以下步骤：

(1)当源节点需要迁移时，其向管理服务器查询并获取当前的节点列表；

(2)所述源节点向节点列表中的各个节点发送查询请求，请求各个节点返回其节点负载率及空闲网络带宽；

(3)每个收到查询请求的节点，都将其节点负载率和空闲网络带宽作为应答消息返回给所述源节点，所述源节点基于发送查询请求和收到应答消息的时间，对各节点进行筛选；

(4)设步骤3筛选后得到了n个节点Node₁，Node₂，……，Node_n；其中Node_i的空闲网络带宽为A_i，节点负载率为B_i(1≤i≤n)，则源节点为Node_i计算迁移指数T_i，即

T_i＝A_i(1-B_i)²

(5)所述源节点基于所述迁移指数、需要迁移的数据量，为所述n个节点分配相应的迁移数据量；

(6)所述源节点基于为所述n个节点分配的迁移数据量，向所述n个节点中的每个节点发送数据，每个节点存储接收到的数据；

(7)当所述源节点发送完所有数据后，其向管理服务器发送一个发送结束消息，所述发送结束消息中包括了所述n个节点的标识；

(8)所述管理服务器确定迁移的目标节点，向所述n个节点发送迁移指令，所述迁移指令中包括了目标节点的地址；

(9)各节点在接收到迁移指令后，将存储的源节点数据发送给所述目标节点。

进一步地，所述步骤1中，由所述管理服务器命令源节点进行迁移，或者由源节点主动发起迁移请求。