[发明专利]虚拟维度表构建方法及装置在审
申请号: | 202111082564.0 | 申请日: | 2021-09-15 |
公开(公告)号: | CN113901046A | 公开(公告)日: | 2022-01-07 |
发明(设计)人: | 邢嵩林;陶俊睿;黄建强;何胜;艾臻 | 申请(专利权)人: | 上海数禾信息科技有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/23 |
代理公司: | 北京知果之信知识产权代理有限公司 11541 | 代理人: | 高科;李志刚 |
地址: | 200000 上海市浦东新区上海市中国(*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 虚拟 维度 构建 方法 装置 | ||
本公开提供一种虚拟维度表构建方法及装置,方法包括从目标业务场景中抽取拟分析的目标对象,并获取目标对象的维度信息;基于目标对象的维度信息,确定目标对象所在的业务场景;根据目标对象的维度信息、以及目标对象所在的业务场景,确定目标对象在每个业务场景的所有属性信息;通过目标对象在每个业务场景的所有属性信息,分别构建一级维度表,以及二级维度表。本公开的方法能够从业务角度出发,在维度模型分类思路中引入数据域划分,定义了多个关联的虚拟维度组,既能保证维度一致性,也能保证单张维度表过宽造成的数据更新慢的问题,完美解决了现有理论和工程层面的技术矛盾。
技术领域
本公开涉及数据库技术领域,尤其涉及一种虚拟维度表构建方法及装置。
背景技术
数据仓库整合了企业相关的所有数据,其中的数据模型更是企业各类分析场景和决策支持的重要支持。
在kimball维度建模理论中,维度设计要满足一致性原则,简单讲就是相同含义的列以及相同的领域内容都是全局一致的,比如借款金额这个字段,数仓全局所有表只要存在这个列,字段名都为prc_amt,且字段类型、取值全都一致,这个即为一致性维度。那么在工程角度,怎么设计才是一张好的一致性维度表呢?
同一个对象必须对应一张全局唯一的维度表,这张维度表在整个数据仓库是可以共用的,这样避免了多个表存在相同维度字段,减少了数据不一致的风险;同时对于数仓元数据管理也是足够精简明确的,对使用者友好。
但是这样做也有两点弊端:
1、因为同一对象只存在一张维度表,维度表字段会普遍比较多,即很多维度表都是宽表,这样该表的更新会变的非常慢,依赖于此维度表的下游数据,必须等此维度表的所有字段更新完毕后才能启动(可能某个下游任务只依赖其中以两个字段,但是必须得等所有字段更新完成);
2、如果某一字段出错,将会导致整张维度表不能正常产出,下游所有任务都将受到影响。
因此,如何提出一种解决上述问题的技术方案是本领域技术人员目前需要解决的技术问题。
公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本公开实施例提供一种,能够从业务角度出发,在数据域划分思路中引入维度模型分类,定义了多个关联的虚拟维度组,完美解决了现有技术的矛盾。
本公开实施例的第一方面,提供一种虚拟维度表构建方法,所述虚拟维度表构建方法包括:
从目标业务场景中抽取拟分析的目标对象,并获取所述目标对象的维度信息;
基于所述目标对象的维度信息,确定所述目标对象所在的业务场景;
根据所述目标对象的维度信息、以及所述目标对象所在的业务场景,确定所述目标对象在每个业务场景的所有属性信息;
通过所述目标对象在每个业务场景的所有属性信息,分别构建一级维度表,以及二级维度表,
其中,所述一级维度表为主表,包括主表的主键和所述二级维度表的外键;所述二级维度表为副表,包括每个业务场景对应的维度表。
在一种可选的实施方式中,
所述确定所述目标对象在每个业务场景的所有属性信息的方法包括:
获取所述目标对象所在的业务场景,基于预先设定的业务场景与用户属性信息的对应关系,枚举所述目标对象所在的业务场景中,所有的属性信息和度量信息;
其中,所述业务场景与所述用户属性信息是一一对应的,不同业务场景下,所述目标对象的属性信息和度量信息不同。
在一种可选的实施方式中,
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海数禾信息科技有限公司,未经上海数禾信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111082564.0/2.html,转载请声明来源钻瓜专利网。