[发明专利]一种多网络多任务多节点数据分发方法

说明书

技术领域

本发明属于计算机网络(Computer Network)技术领域，涉及一种面向多任务数据在多网络环境下的面向多节点的最优分发方法。

背景技术

气象资料数据的分发，涉及到类型多样的海量气象资料，如观测实况、卫星云图、雷达资料、数值预报产品等。这些气象资料由总节点汇集并统一加工生成，可以通过多个通信网络传送到分布在各地的气象分节点。分布在各地的各级节点可通过多个通信网络与总部节点直连，也可以通过其它节点实现数据转发。并且这些通信网络之间完全隔离，总部节点总可以通过一个或多个通信网络将数据分发到任意一个目标节点。不同的数据有时效要求不一，各级各类节点数据需要不一，不同的网络覆盖范围、通信质量、传输容量差别很大。通过合理的选择网络，按照不同的时限和优化目标，将气象资料数据以合理的通信代价传输到目标节点，即多网环境下的优化分发是目前气象资料数据分发任务亟需解决的问题。

另一方面，气象数据在同一通信网络中传输，通过不同传输能力的节点数据转发，即通过业务层组播方式，也将缩短数据传输时间，实现一次分发，所有节点到达的目标。如何在同一通信网络中，根据目标节点集，构建合理的业务层组播树，按照不同的时限和优化目标，将气象资料数据以合理的通信代价传输到目标节点，即单网环境下的优化分发是目前气象资料数据分发任务需要解决的问题。

气象数据分发任务是分发节点将一个或一批数据以最快速度或最小代价传送到目标节点集中。分发任务成批出现、形式不一，具备各自的约束条件和特征属性；同时可通过多个具有不同传输特性的网络传输到目标节点上。在实际环境中，分发系统总以一个特定目标或多个特定目标的组合来实现数据的高效分发，如最快传输时间、最小传输代价、高可靠性、高并行分发。任务分发系统利用实时网络通信、数据传输状态，设定不同的调度策略，实现全局最优任务分发。

针对多任务分发，一般调度系统首先获取每个任务数据量，根据节点之间网络带宽计算传输时间，并叠加任务等待时间，按照设定的优化目标，利用任务调度算法，实现全局最优的任务调度。一般这种任务调度以静态调度为主。通过扩展，进一步考虑任务的约束，网络实时传输状态等因素，可实现任务的动态调度。另一方面，可利用历史经验调度，进一步修正和优化调度方案，提高调度效率。多任务分发过程如图1所示。针对多任务在多网络中分发，任一分发任务将根据任务约束和特征以及各网络状态特征，选择最优网络；在此基础上，构建最小传输树，将该最优网络中，将数据分发到节点集上。

本发明面向多任务数据多网络环境下实现全局最优的多目标节点分发问题，通过分发任务约束条件过滤候选网络集合，通过分发特性和分发节点范围构造业务层组播树，通过目标优化机制完成多分发任务数据在多网络环境下的全局最优分发。

例如，现有10个传输100M数据文件的任务到100个不同的节点，100个传输20M图片的任务到20个不同的节点，50个传输1G视频的任务到50个不同的节点，这些任务可选择卫星网、多个独立的地面宽带网、有安全隔离的网络、VPN网。针对每个分发任务，依据其约束和属性特征，如安全要求、可靠性要求初步选择可传输网络候选集。在此基础上，构建每个候选集网络上的覆盖所有目标节点的业务层组播树，依据优化目标最小分发时间，将这些任务调度到不同的网络中，利用最小业务层组播树完成数据传输，从而实现全局最小分发时间目标。

针对多任务多网络环境下的任务分发，气象资料滚动更新、形式多样，具有时限要求。在分发过程中，一般要求总节点尽快的将最新气象资料分发到需要的目标节点集。即气象资料的分发具备多任务、多传输网络、多目标节点特点。现有任务分发调度机制难以适应三个特点。表现在：1)现有系统和方法基本采用一阶段完成。即通过最优化调度方法，将任务以最优目标分发到目标节点。由于存在多网络隔离并存，且每次分发节点不一致，这种一阶段调度机制难以满足实际要求，存在调度时间长，目标节点不确定问题。2)分发任务的节点集合不一致导致难以统一构建调度模型。需要一种机制能够优化选择网络，并根据网络中构建的业务层组播树进行二阶段过滤最终确定传输网络。