[发明专利]一种分布式处理系统的数据均衡分发方法

说明书

技术领域

本发明涉及分布式处理系统领域，具体地说，即在一个大的分布式处理系统中实现海量数据的均衡分发，以便于各处理平台负载均衡地处理数据。

背景技术

在信息产业高速发展的今天，随着应用程序的规模增大，所用技术越来越复杂，功能模块越来越多，对分布式的需求也越来越强烈。

分布式处理系统将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来，在控制系统的统一管理控制下，协调地完成信息处理任务的计算机系统。分布式网络应用的典型结构是多个PC或服务器通过局域网相连。在这种环境下，众多分散的应用单元协同为终端用户提供各种计算任务。本文描述的分布式处理系统具有如下特征：

(1)海量数据要求可并行处理的分布式系统；

(2)系统由数据接入设备(前台)、数据处理平台(后台)、控制台及局域网组成；

(3)数据以文件形式存放于前台。

如何将前台数据文件均匀地分发到各个后台，并且要保证系统的稳定性，是此类分布式处理系统的难点。当前基于网络的文件传输或共享，实现方式有多种，例如：FTP、NFS、Samba等，但它们的缺陷是：

(1)不能自动均匀分发数据，需要人为控制；

(2)各个传输终端的收发状态不好监控，容易造成系统不稳定。

发明内容

为了解决以上两个问题，本发明的目的是提供一种稳定、均衡的分布式处理系统的数据分发方法，前台能实时获取后台的相关负载信息，以便于动态调整数据文件的发往目的，实现后台的负载均衡；同时，前后台均能实时监测连接对方的网络及系统状态，系统控制平台只需监控后台，便能掌握整个系统的运行状况，便于维护和管理。

本发明的技术方案如下：

一种分布式处理系统的数据均衡分发方法，包括以下步骤：

1)文件发送端与文件接收端建立连接后，取得接收端的cpu空闲率及磁盘可用空间信息，每个接收端都用序号来标记；同时为了便于控制台监控，接收端需要取得发送端的cpu空闲率及磁盘可用空间信息；

2)发送端将文件发送到采用均衡分发方法选择出的接收端；

3)接收端在接收完文件后，给发送端返回一个应答。

所述步骤1)文件发送端与文件接收端之间采用TCP/IP协议通信。

所述步骤2)采用的均衡分发方法步骤如下：

a)按顺序判断接收端的cpu空闲率及磁盘可用空间，是否两者均满足其阈值条件；

b)第一个满足阈值条件的接收端，采用计数器记录下对应的序号；

c)下一次以步骤b)选择的接收端为起点，在余下的接收端中搜索下一个满足阈值条件的接收端：

如果找到，就将记录的序号更新为当前接收端的序号；

如果余下接收端均不满足阈值条件，则记录的序号保持不变。

其中，接收端的cpu空闲率需要满足cpu＞20％，磁盘可用空间需要满足disk＞1GB。

所述步骤2)发送端在发送文件的同时，附带有cpu空闲率及磁盘可用空间信息。

所述步骤2)发送端无数据发送时，定时发送状态查询数据包，查询接收端的cpu空闲率及磁盘可用空间，查询数据包中包含了发送端的cpu空闲率及磁盘可用空间信息。

进一步，接收端根据发送端发送的状态查询数据包来判断网络及前台系统状况，若超时未收到状态查询数据包，则说明发送端系统崩溃或者网络不通。

所述步骤3)接收端在接收文件过程中，记录发送端的相关信息，包括cpu空闲率、磁盘可用空间、成功接收文件数量、最后处理时间，以备监控平台远程查询。

所述步骤3)返回的应答包括文件是否成功接收及本地cpu空闲率及磁盘可用空间。

与现有技术相比，本发明的有益效果是：实现了局域网内的分布式处理系统的数据均衡分发，解决了大量手动分散文件的繁琐问题，合理均衡地利用了各处理平台的资源，并能达到控制平台监控整个系统的目的，简化了系统的维护和管理。进一步地，本发明利用标准的TCP/IP协议通信，可以跨平台运作。

附图说明

图1为本发明所应用的分布式处理系统的前后台数据交互；

图2为本发明的主流程图；

图3为本发明的均衡分发方法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述：

如图1所示，将文件发送端即前台C上的数据均衡分发到多个接收端即后台(S1，S2，...，Sn)，图中的箭头代表文件或内存数据包。

数据分发的处理流程如图2所示，前后台采用TCP/IP协议通信。具体如下：