[发明专利]数据分析系统、方法、存储介质及电子设备

摘要

本发明提供一种数据分析系统、方法、存储介质及电子设备，所述数据分析系统包括：数据采集模块：用以采集实时数据及离线数据，将已采集的离线数据以Hive的形式存储至HDFS；实时计算模块：响应于用户的查询指令，通过分布式处理引擎Flink消费实时数据形成实时数据宽表，所述实时数据宽表数据经过消息中间件kafka转存在Druid中；离线计算模块：用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表；以及查询引擎模块。本发明能够实时或者离线的方式接入数据，并抽象计算出核心模型。数据分析人员可以通过托拉拽的方式筛选自己要分析的内容，然后可以选择以丰富的可视化图表的方式展现。

主权项

1.一种数据分析系统，其特征在于，包括：数据采集模块：用以采集实时数据及离线数据，将已采集的离线数据以Hive的形式存储至HDFS；实时计算模块：响应于用户的查询指令，通过分布式处理引擎Flink消费实时数据形成实时数据宽表，所述实时数据宽表数据经过消息中间件kafka转存在Druid中；离线计算模块：用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表；以及查询引擎模块：将用户的查询指令转化成SQL语句；若所述查询指令的类型为实时查询，则将所述SQL语句转换为Druid语法查询实时数据宽表；若所述查询类型为离线查询，则将所述SQL语句哈希后作为关键字，通过所述关键字查询redis中与该关键字对应的值，以将与该关键字对应的值作为所查询的离线数据。