[发明专利]一种数据处理系统及方法

权利要求书

1.一种数据处理系统，其特征在于，包括：数据源群组，第一数据采集群组，第一数据分发群组，数据处理群组和数据储存服务器；所述第一数据采集群组分别与所述数据源群组和所述第一数据分发群组连接，所述数据处理群组分别与所述第一数据分发群组和所述数据储存服务器连接；

所述第一数据采集群组，采集所述数据源群组上传的上传文件，并上传所述上传文件至所述第一数据分发群组；

所述第一数据分发群组，分发所述上传文件至所述数据处理群组；

所述数据处理群组，实时分析所述上传文件得到日志信息；所述日志信息包括特征值；

所述数据储存服务器，根据所述特征值，分类储存所述日志信息至对应的储存分区。

2.根据权利要求1所述的数据处理系统，其特征在于，所述第一数据采集群组包括：若干个第一采集器；所述第一采集器包括：第一获取模块、第一判断模块、第一采集模块和第一控制模块；所述第一获取模块与所述第一判断模块连接，所述第一判断模块分别与所述第一采集模块和所述第一控制模块连接；

所述第一获取模块，获取当前时刻自身的第一状态值；

所述第一判断模块，判断所述第一状态值是否与第一预设状态值匹配；

所述第一采集模块，当判断所述第一状态值与所述第一预设状态值匹配时，采集所述上传文件；

所述第一控制模块，当判断所述第一状态值与所述第一预设状态值不匹配时，标记工作状态为异常，并下发采集开启指令至第一目标采集器。

3.根据权利要求1所述的数据处理系统，其特征在于，还包括：第二数据采集群组，第二数据分发群组；所述第二数据采集群组与所述数据处理群组和所述第二数据分发群组连接，所述第二数据分发群组与所述数据储存服务器连接；

所述第二数据采集群组，从所述数据处理群组获取所述日志信息，并将所述日志信息下发至所述第二数据分发群组；

所述第二数据分发群组，将所述日志信息分发至所述数据储存服务器。

4.根据权利要求3所述的数据处理系统，其特征在于，所述第二数据采集群组包括：若干个第二采集器；所述第二采集器包括：第二获取模块、第二判断模块、第二采集模块和第二控制模块；所述第二获取模块与所述第二判断模块连接，所述第二判断模块分别与所述第二采集模块和所述第二控制模块连接；

所述第二获取模块，获取当前时刻自身的第二状态值；

所述第二判断模块，判断所述第二状态值是否与第二预设状态值匹配；

所述第二采集模块，当判断所述第二状态值与所述第二预设状态值匹配时，采集所述日志信息；

所述第二控制模块，当判断所述第二状态值与所述第二预设状态值不匹配时，下发采集开启指令至下一个第二采集器。

5.根据权利要求4所述的数据处理系统，其特征在于，所述第二数据分发群组包括：一个主控服务器和若干个分发服务器；所述第二数据采集群组分别与所述分发服务器连接，所述分发服务器均与所述主控服务器连接，所述主控服务器与所述数据储存服务器连接；

所述分发服务器，获取所述第二数据采集群组下发的所述日志信息，并将所有日志信息根据所述特征值分别上传至所述主控服务器；

所述主控服务器，发送所述日志信息至所述数据储存服务器。

6.根据权利要求5所述的数据处理系统，其特征在于，所述分发服务器包括：收集模块、缓存模块、发送模块；所述收集模块与所述收集模块连接，所述缓存模块分别与所述收集模块和所述调用模块连接；

所述收集模块，获取所述第二数据采集群组采集的所述日志信息；

所述缓存模块，储存所述日志信息；

所述调用模块，根据所述特征值，调用并发送所述日志信息至所述数据储存服务器。

7.根据权利要求6所述的数据处理系统，其特征在于，所述分发服务器还包括：监测模块和调整模块；所述监测模块分别与所述收集模块和所述调用模块连接，所述调整模块与所述监测模块连接；

监测模块，每间隔预设时长获取自身获取所述日志信息并上传所述日志信息的负荷值；

调整模块，根据所述负荷值，动态调整工作状态。