[发明专利]大数据钻取分析方法、装置、设备及存储介质

说明书

本发明公开了一种大数据钻取分析方法、装置、设备及存储介质，所述方法通过将kafka中采集的实时数据进行消费，并将消费数据写入维度索引和事实索引中存储；将维度索引中的目标维度数据一次性读取出来，将目标维度数据组装成树状结构，并将树状结构一次性加载到Redis数据库中用Map数据结构进行缓存；根据数据钻取请求获取事实索引中的目标事实数据，将目标事实数据关联到Map数据结构对应的维度树中，进行赋值和递归相加，获得数据分析结果，该方法不但能够更快地获取数据，显著提升了查询性能，而且实时性高，响应快，能够支持无限下钻，降低了维护成本，提升了大数据钻取分析的速度和效率。

技术领域

本发明涉及大数据分析技术领域，尤其涉及一种大数据钻取分析方法、装置、设备及存储介质。

背景技术

随着大数据时代的到来，面对数据量的爆发式增长，如何高效地从海量数据中分析出有效的信息来指导宏观决策已成为一个需要解决的重大问题，现有的数据分析方式是通过建立数据仓库的模型，再配合数据库仓库技术：抽取-转换-加载(Extract-Transform-Load，ETL)工具将数据载入数据仓库，最后通过结构化查询语言(Structured QueryLanguage，SQL)语句完成数据分析需求；在大数据时代，这种传统做法存在的弊端已经越来越明显，主要包括：

响应速度慢：无论是在关系数据库还是在大数据仓库中进行数据分析，当数据量达到千万以上后，SQL查询语句的执行速度极慢，通常需要几十秒甚至几分钟才能得到分析的结果，用户体验很差；

数据仓库模型复杂：为了完成数据分析的需求，需要创建维度表和事实表并进行关联，当维度数量较多且维度数据存在层级关系时，需要提前计算好各个维度下的统计值存储在事实表中，计算量很大；

维护成本较高：当数据分析的需求发生变更时，例如原本的功能是省、市、县三级钻取分析，现在要改为省、市、县、街道四级钻取，需要在事实表中新增街道维度的字段并导入街道维度的统计值，修改的工作量很大。

发明内容

本发明的主要目的在于提供一种大数据钻取分析方法、装置、设备及存储介质，旨在解决现有技术中数据钻取响应速度慢，数据仓库模型复杂及维护成本高，大数据钻取效率低下的技术问题。

第一方面，本发明提供一种大数据钻取分析方法，所述大数据钻取分析方法包括以下步骤：

将kafka中采集的实时数据进行消费，并将消费数据写入维度索引和事实索引中存储；

将所述维度索引中的目标维度数据一次性读取出来，将所述目标维度数据组装成树状结构，并将所述树状结构一次性加载到Redis数据库中用Map数据结构进行缓存；

根据数据钻取请求获取所述事实索引中的目标事实数据，将所述目标事实数据关联到所述Map数据结构对应的维度树中，进行赋值和递归相加，获得数据分析结果，并对所述数据分析结果进行可视化展示。

可选地，所述将kafka中采集的实时数据进行消费，并将消费数据写入维度索引和事实索引中存储之前，所述大数据钻取分析方法还包括：

使用ETL工具抽取数据到kafka中，以完成数据采集。

可选地，所述使用ETL工具抽取数据到kafka中，以完成数据采集，包括：

根据预设事实索引结构和预设维度索引结构，并使用ETL工具将待处理的维度数据和事实数据进行抽取、加工和清洗后投递到kafka消息总线，以完成数据采集。

可选地，所述使用ETL工具抽取数据到kafka中，以完成数据采集之前，所述大数据钻取分析方法还包括：