[发明专利]数据分析系统、数据分析的方法及装置

说明书

本发明公开了一种数据分析系统、数据分析的方法及装置。其中，该数据分析系统包括：日志收集模块，用于收集至少一个目标应用上报的原始日志数据；数据分流模块，用于按照预设配置信息对原始日志数据进行清洗和分流处理，得到分流结果，其中，预设配置信息包括：日志数据的类别信息与消息处理器集群上创建的类别信息之间的对应关系；数据分析模块，用于对分流结果进行序列化处理和逻辑运算，得到运算结果，并对运算结果进行存储。本发明解决了相关技术中用于对业务进行实时分析的方式需要有操作者拥有足够的领域知识，实施起来比较困难的技术问题。

技术领域

本发明涉及数据分析处理技术领域，具体而言，涉及一种数据分析系统、数据分析的方法及装置。

背景技术

随着Hadoop数据仓库的发展，主要是基于Hive的离线分析。而业务开始对实时分析提出了需求，比如，实时统计节目效果，推荐系统的在线学习，实时特征系统。着手调研后发现flink计算引擎可以满足业务对实时的分析，不过flink需要大家有专业的领域知识进行开发，对算法或者小白不够友好。

针对上述相关技术中用于对业务进行实时分析的方式需要有操作者拥有足够的领域知识，实施起来比较困难的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据分析系统、数据分析的方法及装置，以至少解决相关技术中用于对业务进行实时分析的方式需要有操作者拥有足够的领域知识，实施起来比较困难的技术问题。

根据本发明实施例的一个方面，提供了一种数据分析系统，包括：日志收集模块，用于收集至少一个目标应用上报的原始日志数据；数据分流模块，用于按照预设配置信息对所述原始日志数据进行清洗和分流处理，得到分流结果，其中，所述预设配置信息包括：日志数据的类别信息与消息处理器集群上创建的类别信息之间的对应关系；数据分析模块，用于对所述分流结果进行序列化处理和逻辑运算，得到运算结果，并对所述运算结果进行存储。

可选地，所述日志收集模块，还用于在接收到所述至少一个目标应用上报的原始日志数据之后，对所述原始日志数据进行格式转换，得到预定格式的原始日志数据。

可选地，所述日志收集模块，还用于以埋点方式确定所述至少一个目标应用以及所述至少一个目标应用需要采集的日志数据的类别信息，以在所述至少一个目标应用采集到原始日志数据后，触发所述至少一个目标应用上报所述原始日志数据。

可选地，所述至少一个目标应用通过以下至少之一收集客户端的日志数据：日志模块logging，nginx access log。

可选地，所述日志收集模块包括：日志采集子模块，用于获取所述至少一个目标应用上报的原始日志数据；日志监测子模块，与所述日志采集子模块连接，用于在监测到所述日志采集子模块中存储有所述原始日志数据时，触发所述日志采集子模块将所述原始日志数据发送至所述消息处理器集群。

可选地，所述数据分流模块，还用于通过MySQL配置需要进行分流的原始日志数据的日志类型，以在所述消息处理器集群中创建与所述日志类型对应的多个日志列表。

可选地，所述数据分流模块，还用于利用flink分布式运算系统通过数据库连接池，获取更新至本地缓存的分流规则，以利用所述分流规则对所述原始日志数据进行分流，得到分流后的日志数据。

可选地，所述数据分流模块，还用于提取所述分流后的日志数据的日志类型字段，并对所述分流后的日志数据进行维度信息扩充，得到扩充后的日志数据，并将所述扩充后的日志数据分发至所述消息处理器集群的多个日志列表中，形成数据仓库的数据源。

可选地，所述数据分析模块，用于对接收到的SQL语句进行解析，得到解析后的SQL语句，并基于所述解析后的SQL语句对应的业务需求对所述数据仓库中的数据进行序列化处理和逻辑运算，得到所述运算结果。