[发明专利]增量构建CUBE模型的方法、装置、服务器及存储介质有效
申请号: | 201910592045.5 | 申请日: | 2019-07-03 |
公开(公告)号: | CN110442653B | 公开(公告)日: | 2023-09-29 |
发明(设计)人: | 马建强 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/28 | 分类号: | G06F16/28;G06F16/2455 |
代理公司: | 北京市京大律师事务所 11321 | 代理人: | 高茹 |
地址: | 518033 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 增量 构建 cube 模型 方法 装置 服务器 存储 介质 | ||
本发明涉及大数据技术领域,公开了一种增量构建CUBE模型的方法,在接收到检测指令时,检测对应的事实表并获取所述检测指令携带的事实表名称;若检测到所述事实表的增量数据,获取所述事实表和关联维度表中所述增量数据的属性信息;基于所述增量数据的属性信息和所述事实表名称,查询预置CUBE模型,确定所述增量数据的目标位置;基于确定的所述目标位置,构建所述增量数据的属性信息。本发明还公开了一种增量构建CUBE模型的装置、服务器及存储介质。本发明实现了无需人工操作,自动完成CUBE模型的增量构建,并提高了构建效率。
技术领域
本发明涉及大数据处理领域,尤其涉及增量构建CUBE模型的方法、装置、服务器及计算机可读存储介质。
背景技术
联机分析处理(on-line analytical processing,OLAP)是在基于数据仓库多维立方体模型(Cube)的基础上实现的面向分析的各类操作的集合,Cube模型在构建时有增量构建和全量构建。每次Cube的构建都会从事实表中批量读取数据,而对于大多数业务场景来说,事实表中的数据处于不断增长的状态。为了支持Cube中的数据能够不断地得到更新,且无需重复地为已经处理过的历史数据构建Cube,因此对于Cube引入了增量构建的功能。
但目前Cube构建增量数据只能基于人工获取增量数据在事实表中的维度名称以及层次机构等信息,再在Cube模型的数据立方体中进行查找增量数据的位置,然后将增量数据的数据值插入到该位置处,处理的过程十分不便且构建效率低。
发明内容
本发明的主要目的在于提供一种增量构建CUBE模型的方法,旨在解决目前Cube构建增量数据只能基于人工处理,处理的过程十分不便且构建效率低的技术问题。
为实现上述目的,本发明提供一种增量构建CUBE模型的方法,对所述增量构建CUBE模型的方法包括:
在接收到检测指令时,检测对应的事实表并获取所述检测指令携带的事实表名称;
若检测到所述事实表的增量数据,则获取所述事实表和关联维度表中所述增量数据的属性信息;
基于所述增量数据的属性信息和所述事实表名称,查询预置CUBE模型,确定所述增量数据的目标位置;
基于确定的所述目标位置构建所述增量数据的属性信息。
可选的,所述若检测到所述事实表的增量数据,则获取所述事实表和关联维度表中所述增量数据的属性信息包括:
若预置时长内检测到所述事实表的新增分割时间列,则将所述新增分割时间列中的数据作为增量数据,并获取所述事实表中增量数据的维度名称、数据值和新增日期;
在获取到所述增量数据的维度名称时,通过索引所述事实表名称的关联维度表,获取所述关联维度表中所述增量数据的维度层次结构信息,其中,所述维度层次结构信息中包括增量数据的维度名称以及层次级别。
可选的,所述基于所述增量数据的属性信息和所述事实表名称,查询预置CUBE模型,获取所述增量数据的目标位置包括:
基于所述增量数据的维度层次结构信息和所述事实表名称,查询预置CUBE模型,获取所述增量数据的目标层次间;
当获取到所述目标层次间时,通过所述增量数据的维度名称、事实表名称以及所述增量数据的新增日期,获取所述增量数据的目标位置。
可选的,所述基于所述增量数据的维度层次结构信息和事实表名称时,查询预置CUBE模型,获取所述增量事实表的目标层次间包括:
在获取到所述增量数据的维度层次结构信息时,获取所述增量数据的维度名称在所述维度层次结构信息中的层次级别;
当查询所述预置CUBE模型时,获取与所述层次级别对应的多个层次间的维度信息;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910592045.5/2.html,转载请声明来源钻瓜专利网。