[发明专利]一种数据分发方法和系统

说明书

本发明提供了一种数据分发方法和系统，其方法包括：S100获取预设周期内各个Flume服务器对应的滞留状态值；S200根据所述滞留状态值得到各个Flume服务器对应的数据分发优先级；S300根据所述数据分发优先级，将新获取的上行文件分发至对应等级的Flume服务器。本发明能够有效的，合理规划数据分发任务，缩短各个Flume服务器的数据处理时间，提升数据收集的效率。

技术领域

本发明涉及数据处理领域，尤指一种数据分发方法和系统。

背景技术

随着信息化的发展，上行文件等等数据呈海量增长，上行文件在通过Nginx服务器分发给各个Flume服务器时，往往是由Nginx服务器随机的进行分发至各个Flume服务器的，而每台Flume服务器的处理效率会随着数据内容等影响因素不同而大不相同，因此随机分发则会造成Flume服务器资源的不合理利用，导致整体的Flume服务器的处理效率和收发效率降低。

发明内容

本发明的目的是提供一种数据分发方法和系统，实现合理规划各个Flume服务器的数据分发任务，提升整体的数据处理效率和数据收集效率。

本发明提供的技术方案如下：

本发明提供一种数据分发方法，包括步骤：

S100获取预设周期内各个Flume服务器对应的滞留状态值；

S200根据所述滞留状态值得到各个Flume服务器对应的数据分发优先级；

S300根据所述数据分发优先级，将新获取的上行文件分发至对应等级的Flume服务器。

进一步的，所述步骤S100包括步骤：

S110监测获取预设周期内各个Flume服务器对应的状态信息；所述状态信息包括文件数量信息和内存占用信息；

S120统计各个Flume服务器对应的所有状态信息，得到各个Flume服务器对应的滞留状态值。

进一步的，所述步骤S110之后，S120之前包括步骤：

S111判断预设周期内当前Flume服务器对上行文件的处理效率是否达到预设处理效率；若是，进入步骤S120；否则，进入步骤S130；

S130标记所述当前Flume服务器为预设等级的Flume服务器，使得Nginx服务器停止向所述预设等级的Flume服务器发送所述新获取的上行文件。

进一步的，所述步骤S200包括步骤：

S210比较各个Flume服务器对应的滞留状态值，得到比较结果；

S220根据比较结果，将所有Flume服务器进行等级排序，得到各个Flume服务器对应的数据分发优先级。

进一步的，所述步骤S300包括步骤：

S310分析所述新获取的上行文件，得到每个新获取的上行文件对应的文件大小；

S320根据文件大小和所述数据分发等级生成每个Flume服务器对应的数据分发策略；

S330根据所述预设数据分发策略，将新获取的上行文件分发至对应等级的Flume服务器。

本发明还提供一种数据分发系统，包括：控制模块，处理模块和分发模块；所述处理模块分别与所述控制模块和所述分发模块连接；

所述控制模块，获取预设周期内各个Flume服务器对应的滞留状态值；

所述处理模块，根据所述滞留状态值得到各个Flume服务器对应的数据分发优先级；