[发明专利]数据仓库元数据管理方法、可读存储介质和计算机设备

说明书

本发明公开了一种数据仓库元数据管理方法、计算机可读存储介质和计算机设备，所述数据仓库元数据管理方法包括：在数据抽取过程中检测数据仓库的源库的各个业务源表的数据结构是否发生变化，若变化则生成预警信息并分别处理发生变化的业务源表以完成数据处理；根据所述发生变化的业务源表所对应的目标表在所述数据仓库中进行血缘分析，输出血缘关系图谱；根据血缘关系图谱评估并修改所述数据仓库中涉及的各个数据表。本发明提供的数据仓库元数据管理方法便于查找业务源表的变化，并方便供后续数据开发人员进行调整，并通过血缘分析验证调整的准确度，从而减少数据结构不一致带来的问题，同时降低了数据仓库日常调度流程报错的几率。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据仓库元数据管理方法、计算机可读存储介质和计算机设备。

背景技术

元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据(data aboutdata)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找和文件记录等功能。通过元数据描述业务数据，并对描述业务数据的元数据进行管理，可以实现对业务数据的有效管理。

目前，在数据处理技术领域，在中国专利文件中，一名为《一种元数据管理系统》申请号为CN201711049884.X，介绍了一种元数据管理系统，包括：关系型数据库模块，用于配置连接业务数据库；日志-文本文件模块，用于传递流失数据及订阅相关业务数据目录；与关系型数据库模块通信连接的结构化数据源接入模块，用于获取各业务数据的元数据信息；与所述日志-文本文件模块通信连接的非结构化数据源接入模块，用于订阅并记录Kafka和日志收集系统Flume的流数据信息；分别连接所述结构化数据源接入模块和非结构化数据源接入模块的信息存储模块，用于存储上述各模块的信息记录。进一步的，所述系统还包括据血缘分析模块、数据管理模块和WEB可视化模块。该发明能够实现大数据爆炸的数据信息的有效管理，并能提升业务数据信息的有效展示，方便数据共享。但是该发明没有涉及数据源发生变化时的对变化的数据进行的数据管理，而在实际应用中，源数据表格有时会因为数据扩展或缩减而发生变化。如此对于《一种元数据管理系统》而言，一旦数据源发生变化则有可能会造成数据错误，严重时会影响整个数据质量和环境稳定性。

在中国专利文件中，一名为《一种数据加载清洗引擎、调度与存储系统》申请号为CN201610524292.8，介绍了一种数据加载清洗引擎、调度与存储系统，包括数据源、数据仓库和用户展现模块，数据仓库连接有ETL管理模块，ETL管理模块包括ETL调度模块、ETL监控模块、数据质量模块和ETL任务模块，数据仓库包括接口文件区、细节数据暂存区SSA、细节数据SOR、数据集市、数据总结模块、反馈模块和元数据存储MDR。该发明在一定程度上能够应对大吞吐量的数据处理，但是该发明虽然包括了故障处理，但实质上未对错误数据或故障数据进行处理，而是通过重新分配任务放弃了所述错误数据或故障数据。若该数据是由于数据源的数据格式改变引起的，则《一种数据加载清洗引擎、调度与存储系统》发明不能有效解决此问题。

在中国专利文件中，一名为《一种清洗对比入库方法》申请号为CN201611097362.2，介绍了一种清洗对比入库方法，该方法应用于大数据互联网环境中，该系统包括多数据来源，多个数据采集单元，缓存服务器，统一数据处理平台，数据仓库，上位机；该清洗对比入库方法对数据作并行采集和处理，去除明显不合理和明显矛盾的数据，进行自动数据值补全，重复数据删除等清洗处理。该发明利用已有数据资源进行自动化清洗，能够实现对因数据格式错误、数据字段错位、明显不合理字段值等错误数据的清洗。但是也仅仅停留在对数据的清洗，而对于数据仓库中有依赖关系的数据字段则无法实现整体的调整和更新。

发明内容

为了解决上述问题至少之一，本发明第一方面提供一种数据仓库元数据管理方法，包括：