[发明专利]一种数仓管理方法、装置、设备和介质

说明书

本发明涉及一种数仓管理方法、装置、设备和介质，其中，该数仓管理方法包括：通过确定数仓的分层方式，得到分层后的数仓，其中，该分层方式包括以下分层：数据接入ODS层、数据明细DWD层、数据中间DWM层、数据服务DWS层、维表DIM层、临时TIMP层、数据集市DM层、应用ADS层；确定该分层后的数仓所对应的各个分层的命名方式；按照该命名方式对待存储的数据进行管理。通过本发明，解决了相关技术中数仓数据治理方案比较粗略的问题，提高了数仓管理的效率。

技术领域

本发明涉及数仓建设技术领域，尤其涉及一种数仓管理方法、装置、计算机设备和计算机可读存储介质。

背景技术

目前利用大数据创造价值，驱动业务的发展已经成为主流，大数据技术已经逐渐成熟，数仓也成为各家大公司必须要建设的项目，数仓的分层方案也相对比较成熟并且达成了共识，基本是数据接入层(Operational Data Store，简称为ODS)+数据仓库层(DataWareHouse，简称为DW)+数据集市层(Data WareHouse Market，简称为DM)/应用层(ApplicationData Service，简称为ADS)的方案。另外，除了数仓分层方案以外，关于建设数仓的数据治理方案还是众说纷纭，没有一套统一完善的标准，最多只有一个粗略的流程。

针对相关技术中，数仓数据治理方案比较粗略的问题，尚未提出有效的解决方案。

发明内容

本申请的目的是针对现有技术中的不足，提供一种数仓管理方法、装置、计算机设备和计算机可读存储介质，以至少解决相关技术中数仓数据治理方案比较粗略的问题。

为实现上述目的，本申请采取的技术方案是：

第一方面，本申请实施例提供了一种数仓管理方法，包括：确定数仓的分层方式，得到分层后的数仓，其中，所述分层方式包括以下分层：数据接入ODS层、数据明细DWD层、数据中间DWM层、数据服务DWS层、维表DIM层、临时TIMP层、数据集市DM层、应用ADS层；确定所述分层后的数仓所对应的各个分层的命名方式；按照所述命名方式对待存储的数据进行管理。

在其中一些实施例中，确定所述分层后的数仓所对应的各个分层的命名方式包括：所述ODS层的命名方式包括以下参数：数据来源、源表名；所述DWD层的命名方式包括以下参数：所述DWD、主题、行为/属性；所述DWM层的命名方式包括以下参数：所述DWM、主题、行为/属性、时间粒度；所述DWS层的命名方式包括以下参数：所述DWS、主题、实体对象；所述DIM层的命名方式包括以下参数：所述DIM、实体对象/主题；所述TIMP层的命名方式包括以下参数：所述TIMP、根据具体情况生成的表名；所述DM层的命名方式包括以下参数：所述DM、业务方/部门、根据具体情况生成的表名；所述ADS层的命名方式包括以下参数：所述ADS、根据具体情况生成的表名。

可选地，按照所述命名方式对待存储的数据进行管理包括：从所述待存储的数据中提取第一目标数据；将所述第一目标数据按照所述各分层的命名方式进行处理，得到第二目标数据；将所述第二目标数据导入所述数仓。

可选地，在按照所述命名方式对待存储的数据进行管理之前，所述方法还包括：设置每一分层的建表方式、删表方式以及表关联方式，其中，所述建表方式包括：指定关键字，指定库名，填写字段备注、填写表名备注。

可选地，按照所述命名方式对待存储的数据进行管理还包括：设置数据异常触发条件；在所述触发条件满足的情况下，发送数据异常报告。

第二方面，本申请实施例提供了一种数仓管理装置，第一确定模块，用于确定数仓的分层方式，得到分层后的数仓，其中，所述分层方式包括以下分层：数据接入ODS层、数据明细DWD层、数据中间DWM层、数据服务DWS层、维表DIM层、临时TIMP层、数据集市DM层、应用ADS层；第二确定模块，用于确定所述分层后的数仓所对应的各个分层的命名方式；管理模块，用于按照所述命名方式对待存储的数据进行管理。