[发明专利]数据分析系统、数据分析的方法及装置

权利要求书

1.一种数据分析系统，其特征在于，包括：

日志收集模块，用于收集至少一个目标应用上报的原始日志数据；

数据分流模块，用于按照预设配置信息对所述原始日志数据进行清洗和分流处理，得到分流结果，其中，所述预设配置信息包括：日志数据的类别信息与消息处理器集群上创建的类别信息之间的对应关系；

数据分析模块，用于对所述分流结果进行序列化处理和逻辑运算，得到运算结果，并对所述运算结果进行存储。

2.根据权利要求1所述的数据分析系统，其特征在于，所述日志收集模块，还用于在接收到所述至少一个目标应用上报的原始日志数据之后，对所述原始日志数据进行格式转换，得到预定格式的原始日志数据。

3.根据权利要求1所述的数据分析系统，其特征在于，所述日志收集模块，还用于以埋点方式确定所述至少一个目标应用以及所述至少一个目标应用需要采集的日志数据的类别信息，以在所述至少一个目标应用采集到原始日志数据后，触发所述至少一个目标应用上报所述原始日志数据。

4.根据权利要求3所述的数据分析系统，其特征在于，所述至少一个目标应用通过以下至少之一收集客户端的日志数据：日志模块logging，nginx access log。

5.根据权利要求1所述的数据分析系统，其特征在于，所述日志收集模块包括：

日志采集子模块，用于获取所述至少一个目标应用上报的原始日志数据；

日志监测子模块，与所述日志采集子模块连接，用于在监测到所述日志采集子模块中存储有所述原始日志数据时，触发所述日志采集子模块将所述原始日志数据发送至所述消息处理器集群。

6.根据权利要求1所述的数据分析系统，其特征在于，所述数据分流模块，还用于通过MySQL配置需要进行分流的原始日志数据的日志类型，以在所述消息处理器集群中创建与所述日志类型对应的多个日志列表。

7.根据权利要求6所述的数据分析系统，其特征在于，所述数据分流模块，还用于利用flink分布式运算系统通过数据库连接池，获取更新至本地缓存的分流规则，以利用所述分流规则对所述原始日志数据进行分流，得到分流后的日志数据。

8.根据权利要求7所述的数据分析系统，其特征在于，所述数据分流模块，还用于提取所述分流后的日志数据的日志类型字段，并对所述分流后的日志数据进行维度信息扩充，得到扩充后的日志数据，并将所述扩充后的日志数据分发至所述消息处理器集群的多个日志列表中，形成数据仓库的数据源。

9.根据权利要求8所述的数据分析系统，其特征在于，所述数据分析模块，用于对接收到的SQL语句进行解析，得到解析后的SQL语句，并基于所述解析后的SQL语句对应的业务需求对所述数据仓库中的数据进行序列化处理和逻辑运算，得到所述运算结果。

10.根据权利要求9所述的数据分析系统，其特征在于，所述数据分析模块，用于在接收到所述SQL语句后，通过所述flink分布式运算系统提供的table source获取所述数据仓库中的数据，并将获取的所述数据仓库中的数据提交至所述flink分布式运算系统的streamoperator，以利用所述stream operator对接收到的所述数据仓库中的数据进行统计分析，得到所述统计分析结果。

11.根据权利要求10所述的数据分析系统，其特征在于，所述数据分析模块，还用于通过所述flink分布式运算系统提供的table sink将经过所述stream operator序列化处理和逻辑运算得到的运算结果，并将所述运算结果存储至数据库中供业务方使用。

12.根据权利要求1至11中任一项所述的数据分析系统，其特征在于，所述消息处理器集群为kafka集群。