[发明专利]一种使多级关联数据分配到集群相同节点的方法

说明书

技术领域

本发明涉及集群分布式计算领域。 

背景技术

在信息技术高速发展的今天，无论是互联网还是企业内部的数据量，都呈指数速度的发展和增加。海量数据的计算和处理日趋重要，其中大规模集群分布式数据处理和分布式计算两项技术成为海量数据处理的关键性技术。 

为了使数据的处理更加透明和更有效率，发明了多级关系数据分发方法，该方法会通过关联性分析，将需要处理的无限层级关联数据分发至同一节点，使得关联数据的提取、合并、搜索和分析都集中在单一集群节点，这样不仅能够充分利用单一节点的运算能力，同时还能够很大程度上节约网络传输的时间和带宽，提升系统整体吞吐量。 

发明内容

本发明的目的是提供一种数据分发方法，通过理解多级关联数据之间的关系，来进行数据分发，将相关数据分发至同一节点，从而提升数据提取、合并、搜索和分析，降低分布式集群的网络传输时间并节约网络带宽。 

为达到上述目的，本发明设定了一种分发策略。 

1.对数据进行关联关系设置，用于了解数据之间的多级主从关系。 

2.对关联数据设置分发算法，用来计算数据分发到节点。 

3.对主数据进行分发，写入主数据时，通过分发算法，计算出分发结点，并把该数据写入到这个节点。 

4.对二级关联数据进行分发，写入主数据关联的二级数据时，写入相同节点，同时标识二级数据节点位置，通过该标识，进行下级数据的分发。 

5.对三级至N级数据进行分发，通过关联至N-1级数据，取得N-1级数据的标识，通过该标识，即可将N级数据分发至同一节点。 

6.关联数据的提取、合并、搜索和分析，相关数据的操作即可在同一节点完成。 

附图说明

图1、图2为本发明的工作流程示意图，即集群数据分发流程，为写入两套关联数据的流程，两套关联数据会分别写入至两个数据节点，但关联的数据之间，会写入同一数据节点，达到充分利用计算和存储资源又能够节省计算的目的。 

具体实施方式

下面结合附图1对本发明所述的技术方案做进一步详细描述。 

图1为使多级关联数据分发到集群相同节点所涉及的各个模块的方框图，其中包括数据分发中心节点和集群节点。 

数据分发的步骤如下： 

1)用户进行系统设置，标识数据之间关联的字段 

2)对关联数据设置分发算法 

3)主节点数据分发 

4)二级节点数据根据主节点标识进行分发，同时生成二级节点标识 

5)三级至N级节点数据根据N-1级的节点标识进行分发至相同节点。