[发明专利]大数据钻取分析方法、装置、设备及存储介质

权利要求书

1.一种大数据钻取分析方法，其特征在于，所述大数据钻取分析方法包括：

将kafka中采集的实时数据进行消费，并将消费数据写入维度索引和事实索引中存储；

将所述维度索引中的目标维度数据一次性读取出来，将所述目标维度数据组装成树状结构，并将所述树状结构一次性加载到Redis数据库中用Map数据结构进行缓存；

根据数据钻取请求获取所述事实索引中的目标事实数据，将所述目标事实数据关联到所述Map数据结构对应的维度树中，进行赋值和递归相加，获得数据分析结果，并对所述数据分析结果进行可视化展示。

2.如权利要求1所述的大数据钻取分析方法，其特征在于，所述将kafka中采集的实时数据进行消费，并将消费数据写入维度索引和事实索引中存储之前，所述大数据钻取分析方法还包括：

使用ETL工具抽取数据到kafka中，以完成数据采集。

3.如权利要求2所述的大数据钻取分析方法，其特征在于，所述使用ETL工具抽取数据到kafka中，以完成数据采集，包括：

根据预设事实索引结构和预设维度索引结构，并使用ETL工具将待处理的维度数据和事实数据进行抽取、加工和清洗后投递到kafka消息总线，以完成数据采集。

4.如权利要求2所述的大数据钻取分析方法，其特征在于，所述使用ETL工具抽取数据到kafka中，以完成数据采集之前，所述大数据钻取分析方法还包括：

根据数据分析需求设计维度数据和事实数据的字段结构，将字段结构统一后的实时数据存放至预设维度索引结构，将字段结构统一后的事实数据存放至预设事实索引结构，其中，所述预设维度索引结构中的维度索引包含本级节点编号和上级节点编号的字段，所述预设事实索引结构中的事实索引包含关联所述维度数据的外键。

5.如权利要求1所述的大数据钻取分析方法，其特征在于，所述将kafka中采集的实时数据进行消费，并将消费数据写入维度索引和事实索引中存储，包括：

将kafka中采集的实时数据进行消费，并将消费数据写入到Elasticsearch中的维度索引和事实索引中存储。

6.如权利要求1所述的大数据钻取分析方法，其特征在于，所述将所述维度索引中的目标维度数据一次性读取出来，将所述目标维度数据组装成树状结构，并将所述树状结构一次性加载到Redis数据库中用Map数据结构进行缓存，包括：

将所述维度索引中的目标维度数据一次性读取出来，根据所述目标维度数据的上下级关系从根节点开始，自顶向下构建，设置本节点的信息，再递归设置孩子节点的信息，构建组织成树状结构；

将所述树状结构的树对象写入Redis数据库中，并使用Map数据结构进行缓存。

7.如权利要求1所述的大数据钻取分析方法，其特征在于，所述根据数据钻取请求获取所述事实索引中的目标事实数据，将所述目标事实数据关联到所述Map数据结构对应的维度树中，进行赋值和递归相加，获得数据分析结果，并对所述数据分析结果进行可视化展示，包括：

根据数据钻取请求确定数据分析的查询条件，根据所述查询条件从所述事实索引中获取目标事实数据；

根据各节点ID从所述Map数据结构对应的维度树中获取对应的节点树状结构；

获取所述目标事实数据的各维度统计值，将各维度统计值赋值到各节点树状结构的value值中，并对赋值后的节点树进行递归累加，获得本节点的totalvalue值，根据根节点的孩子节点列表将各节点的名称和totalvalue值作为数据分析结果，将所述数据分析结果进行返回，从返回的子节点编号中取出一个作为钻取分析的参数，重复递归流程，以完成数据下钻；

根据数据可视化工具对所述数据分析结果进行可视化，将可视化图显示在前端页面。