[发明专利]一种数据分发方法和系统

权利要求书

1.一种数据分发方法，其特征在于，包括步骤：

S100获取预设周期内各个Flume服务器对应的滞留状态值；

S200根据所述滞留状态值得到各个Flume服务器对应的数据分发优先级；

S300根据所述数据分发优先级，将新获取的上行文件分发至对应等级的Flume服务器。

2.根据权利要求1所述的数据分发方法，其特征在于，所述步骤S100包括步骤：

S110监测获取预设周期内各个Flume服务器对应的状态信息；所述状态信息包括文件数量信息和内存占用信息；

S120统计各个Flume服务器对应的所有状态信息，得到各个Flume服务器对应的滞留状态值。

3.根据权利要求2所述的数据分发方法，其特征在于，所述步骤S110之后，S120之前包括步骤：

S111判断预设周期内当前Flume服务器对上行文件的处理效率是否达到预设处理效率；若是，进入步骤S120；否则，进入步骤S130；

S130标记所述当前Flume服务器为预设等级的Flume服务器，使得Nginx服务器停止向所述预设等级的Flume服务器发送所述新获取的上行文件。

4.根据权利要求1所述的数据分发方法，其特征在于，所述步骤S200包括步骤：

S210比较各个Flume服务器对应的滞留状态值，得到比较结果；

S220根据比较结果，将所有Flume服务器进行等级排序，得到各个Flume服务器对应的数据分发优先级。

5.根据权利要求1-4任一项所述的数据分发方法，其特征在于，所述步骤S300包括步骤：

S310分析所述新获取的上行文件，得到每个新获取的上行文件对应的文件大小；

S320根据文件大小和所述数据分发等级生成每个Flume服务器对应的数据分发策略；

S330根据所述预设数据分发策略，将新获取的上行文件分发至对应等级的Flume服务器。

6.一种数据分发系统，其特征在于，包括：控制模块，处理模块和分发模块；所述处理模块分别与所述控制模块和所述分发模块连接；

所述控制模块，获取预设周期内各个Flume服务器对应的滞留状态值；

所述处理模块，根据所述滞留状态值得到各个Flume服务器对应的数据分发优先级；

所述分发模块，根据所述数据分发优先级，将新获取的上行文件分发至对应等级的Flume服务器。

7.根据权利要求6所述的数据分发系统，其特征在于，所述控制模块包括：获取单元和统计单元；所述获取单元与所述统计单元连接；

所述获取单元，监测获取预设周期内各个Flume服务器对应的状态信息；所述状态信息包括文件数量信息和内存占用信息；

所述统计单元，统计各个Flume服务器对应的所有状态信息，得到各个Flume服务器对应的滞留状态值。

8.根据权利要求7所述的数据分发系统，其特征在于，所述控制模块还包括：判断单元和标记单元；所述判断单元分别与所述统计单元和所述标记单元连接；

判断单元，判断预设周期内当前Flume服务器对上行文件的处理效率是否达到预设处理效率；

所述统计单元，当判断预设周期内当前Flume服务器对上行文件的处理效率达到预设处理效率时，统计各个Flume服务器对应的所有状态信息，得到各个Flume服务器对应的滞留状态值；

所述标记单元，当判断预设周期内当前Flume服务器对上行文件的处理效率未达到预设处理效率时，标记所述当前Flume服务器为预设等级的Flume服务器，使得Nginx服务器停止向所述预设等级的Flume服务器发送所述新获取的上行文件。