[发明专利]星型数据治理存储方法、装置、终端设备及存储介质

说明书

本发明公开了一种星型数据治理存储方法、装置、终端设备及存储介质，预设维度表和事实表，在维度表中设置业务内容及其对应的治理手段，在事实表中设置业务事实及其对应的度量值，获取业务事实后将其与维度表中的业务内容进行对应确认，当业务事实达到事实表中对应的度量值时，调用相应业务内容对应的治理手段进行数据质量治理，并将治理手段中的数据进行存储。本发明设置的维度表的扩张不影响事实表中存储的现有和历史结果，实现高健壮性。解决了现有技术中用户在数据治理存储时，存储方法扩展性差、健壮性差、易用性差问题。

技术领域

本发明涉及大数据存储技术领域，尤其涉及一种星型数据治理存储方法、装置、终端设备及存储介质。

背景技术

随着计算机和网络技术的发展，特别是移动网络技术的飞速发展，大数据时代随之到来，各机构对各类数据的获取都非常重视，各类机构中的数据信息总量成几何级数增长，如何分析处理和存储这海量的数据信息、提高信息的利用效率成为各机构的当务之急，因此数据质量治理受到各类机构的高度重视。目前数据质量治理系统的存储方案多种多样，存储效率参差不齐，许多治理系统的存储结构极其混乱，灵活性差，业务扩张能力不强，只要进行修改，则需要大量修改表结构，开发周期长，维护成本较高，普遍存在着存储方法扩展性差、健壮性差、易用性差的问题。

因此，现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种星型数据质量治理方法、装置、及存储介质，旨在解决现有技术中用户在数据治理存储时，存储方法扩展性差、健壮性差、易用性差问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

第一方面，本发明提供一种星型数据治理存储方法，用于通过数据治理系统对大数据进行数据质量的存储管理，其中，包括如下步骤：

预设维度表和事实表；

在所述维度表中设置业务内容及其对应的治理手段；

在所述事实表中设置业务事实及其对应的度量值；

获取业务事实后将其与所述维度表中的所述业务内容进行对应确认；

当所述业务事实达到所述事实表中对应的度量值时，调用相应业务内容对应的治理手段进行数据质量治理，并将治理手段中的数据进行存储。

作为一种改进，所述维度表包括业务线表、治理维度表和执行引擎表。所述事实表包括执行清单表、质量结果明细表、质量历史明细表。

作为一种改进的技术方案，所述维度表中设置业务内容及其对应的治理手段包括如下步骤：

在所述业务线表中记录需要进行数据治理的项目，将所述项目对应到不同业务线的一级分类和二级分类；

在所述治理维度表中记录对数据治理的维度，按照父维度和子维度展示；

在所述执行引擎表中记录所采用的计算执行引擎，以及计算执行引擎的基本信息。

作为一种改进的技术方案，所述在所述事实表中设置业务事实及其对应的度量值包括如下步骤：

在所述执行清单表记录治理指标的详细内容，所述数据治理系统根据所述执行清单表的记录详细内容执行，其包括：业务线中的治理项目、治理维度、治理执行引擎；

在所述质量结果明细表中记录治理指标计算出来的分值，并通过日期记录；

在所述质量历史明细表中记录治理指标的历史详细信息。

作为一种改进技术方案，所述维度表中的主键设置为所述事实表中的外键。

作为一种改进技术方案，所述方法还包括如下步骤：