[发明专利]数据分析系统、方法、存储介质及电子设备

权利要求书

1.一种数据分析系统，其特征在于，包括：

数据采集模块：用以采集实时数据及离线数据，将已采集的离线数据以Hive的形式存储至HDFS；

实时计算模块：响应于用户的查询指令，通过分布式处理引擎Flink消费实时数据形成实时数据宽表，所述实时数据宽表数据经过消息中间件kafka转存在Druid中；

离线计算模块：用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表；以及

查询引擎模块：将用户的查询指令转化成SQL语句；若所述查询指令的类型为实时查询，则将所述SQL语句转换为Druid语法查询实时数据宽表；若所述查询指令类型为离线查询，则将所述SQL语句哈希后作为关键字，通过所述关键字查询redis中与该关键字对应的值，以将与该关键字对应的值作为所查询的离线数据；

所述查询引擎模块还用以当redis中查不到相应的离线数据时，将所述SQL语句转为Kylin语法以从所述Kylin中获取相应的离线数据,将所述SQL语句哈希后作为关键字并将所获取的离线数据作为值存储在redis。

2.根据权利要求1所述的数据分析系统，其特征在于，所获取的离线数据作为值在redis储存的时间不超过预定时间段，所述预定时间段根据数据刷新周期和redis的储存容量确定。

3.根据权利要求1所述的数据分析系统，其特征在于，还包括用户权限管理模块，所述用户权限管理模块用以通过用户和组以及组和数据的映射关系，对用户的数据使用权限进行鉴权。

4.根据权利要求1所述的数据分析系统，其特征在于，还包括可视化分析库，所述可视化分析库用以以可视化方式展示对应于所述查询指令的离线或实时查询结果。

5.一种数据分析方法，其特征在于，包括：

采集实时数据及离线数据，将已采集的离线数据以Hive的形式存储至HDFS；

用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表；

将用户的查询指令转化成SQL语句；

若所述查询指令的类型为实时查询，则将所述SQL语句转换为Druid语法查询实时数据宽表；

若所述查询指令类型为离线查询，则将所述SQL语句哈希后作为关键字，通过所述关键字查询redis中与该关键字对应的值，以将与该关键字对应的值作为所查询的离线数据；

若所述查询指令类型为离线查询，当redis中查不到相应的离线数据时，则将所述SQL语句哈希后作为关键字，通过所述关键字查询redis中与该关键字对应的值，以将与该关键字对应的值作为所查询的离线数据。

6.根据权利要求5所述的数据分析方法，其特征在于，所述查询指令指示若干指标和维度，每一指标和维度分别对应唯一的编码；

所述将用户的查询指令转化成SQL语句的步骤之前还包括：

将所述指标和维度按照各自的编码进行排序。

7.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求5至6中任一项所述的步骤。

8.一种电子设备，其特征在于，所述电子设备包括：

处理器；

存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求5至6中任一项所述的步骤。