[发明专利]一种数仓管理方法、装置、设备和介质在审
申请号: | 202111498718.4 | 申请日: | 2021-12-09 |
公开(公告)号: | CN114168690A | 公开(公告)日: | 2022-03-11 |
发明(设计)人: | 吴振伟 | 申请(专利权)人: | 上海妙一生物科技有限公司 |
主分类号: | G06F16/28 | 分类号: | G06F16/28;G06F16/21 |
代理公司: | 上海领誉知识产权代理有限公司 31383 | 代理人: | 王琰 |
地址: | 201199 上海*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 种数 管理 方法 装置 设备 介质 | ||
1.一种数仓管理方法,其特征在于,包括:
确定数仓的分层方式,得到分层后的数仓,其中,所述分层方式包括以下分层:数据接入ODS层、数据明细DWD层、数据中间DWM层、数据服务DWS层、维表DIM层、临时TIMP层、数据集市DM层、应用ADS层;
确定所述分层后的数仓所对应的各个分层的命名方式;
按照所述命名方式对待存储的数据进行管理。
2.根据权利要求1所述的数仓管理方法,其特征在于,确定所述分层后的数仓所对应的各个分层的命名方式包括:
所述ODS层的命名方式包括以下参数:数据来源、源表名;
所述DWD层的命名方式包括以下参数:所述DWD、主题、行为/属性;
所述DWM层的命名方式包括以下参数:所述DWM、主题、行为/属性、时间粒度;
所述DWS层的命名方式包括以下参数:所述DWS、主题、实体对象;
所述DIM层的命名方式包括以下参数:所述DIM、实体对象/主题;
所述TIMP层的命名方式包括以下参数:所述TIMP、根据具体情况生成的表名;
所述DM层的命名方式包括以下参数:所述DM、业务方/部门、根据具体情况生成的表名;
所述ADS层的命名方式包括以下参数:所述ADS、根据具体情况生成的表名。
3.根据权利要求1所述的数仓管理方法,其特征在于,按照所述命名方式对待存储的数据进行管理包括:
从所述待存储的数据中提取第一目标数据;
将所述第一目标数据按照所述各分层的命名方式进行处理,得到第二目标数据;
将所述第二目标数据导入所述数仓。
4.根据权利要求1所述的数仓管理方法,其特征在于,在按照所述命名方式对待存储的数据进行管理之前,所述方法还包括:
设置每一分层的建表方式、删表方式以及表关联方式,其中,所述建表方式包括:指定关键字,指定库名,填写字段备注、填写表名备注。
5.根据权利要求1所述的数仓管理方法,其特征在于,按照所述命名方式对待存储的数据进行管理还包括:
设置数据异常触发条件;
在所述触发条件满足的情况下,发送数据异常报告。
6.一种数仓管理装置,其特征在于,包括:
第一确定模块,用于确定数仓的分层方式,得到分层后的数仓,其中,所述分层方式包括以下分层:数据接入ODS层、数据明细DWD层、数据中间DWM层、数据服务DWS层、维表DIM层、临时TIMP层、数据集市DM层、应用ADS层;
第二确定模块,用于确定所述分层后的数仓所对应的各个分层的命名方式;
管理模块,用于按照所述命名方式对待存储的数据进行管理。
7.根据权利要求1所述的数仓管理装置,其特征在于,所述管理模块包括:
提取单元,用于从所述待存储的数据中提取第一目标数据;
第一获取单元,用于将所述第一目标数据按照所述各分层的命名方式进行处理,得到第二目标数据;
导入单元,用于将所述第二目标数据导入所述数仓。
8.根据权利要求1所述的数仓管理装置,其特征在于,所述装置还包括:
设置模块,用于设置数据异常触发条件;
发送模块,用于在所述触发条件满足的情况下,发送数据异常报告。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的数仓管理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至5中任一项所述的数仓管理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海妙一生物科技有限公司,未经上海妙一生物科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111498718.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种处理放射性含锝溶液的方法
- 下一篇:一种脱水轴承防锈剂组合物