[发明专利]数据治理方法、装置以及存储介质

说明书

本申请公开了一种数据治理方法、装置以及存储介质。其中，一种数据治理方法，包括：根据多表之间的依赖关系确定与主题表对应的数据源表；根据主题表以及相应的数据源表之间的依赖关系表对主题表进行聚类；以及根据聚类结果对主题表进行替换。

技术领域

本申请涉及信息技术领域，特别是涉及一种数据治理方法、装置以及存储介质。

背景技术

随着业务爆发式增长，数字化运营日趋重要，业务对数据分析的需求呈井喷式增长。业务分析需求往往以职能部门KPI为导向的局部性分析需求。这样的数据分析需求存在一些特点。第一、不同职能部门对业务指标理解各异，不同职能部门甚至是同一职能部门在不同业务场景下，相同指标都存在多种不同的逻辑描述，数据一致性难以保障。第二、各职能部门提出的大部分数据分析需求大同小异，且都单独提出单独开发，存在大量冗余数据，数据价值密度低。第三、各职能部门目标各异，以KPI为导向的数据分析需求缺乏全局战略目标，难以反映业务整体情况。

在这样的业务背景下，两三年时间内可能积累数千张业务报表，并催生大量中间主题表建设。大量相似度高业务数据需求，都需要单独占用科技资源。致使数据冗余情况越发严重，进而导致科技资源无法高效利用。同时存在同一指标多种口径的情况，缺少企业级规范指标，数据可靠性难以保障。特别是业务发展到一定阶段后，整合现有业务数据，建立数据规范，统筹规划企业级数据产品，引导业务使用规范产品，对企业降本增效尤为重要。而数据表存在层层依赖和被依赖关系，最高可能上十层，牵一发而东全身，没有完全理清上下层关系之前，已有数据往往不敢动。此外源表、主题表、应用表数量达数千份，数量庞大，如何归类整合，进而有效治理，以及治理后如何无损替换释放资源，是一个老大难问题。

针对上述的现有技术中存在的数据表数量庞大以及数据冗余的技术问题，目前尚未提出有效的解决方案。

发明内容

本申请的实施例提供了一种数据治理方法、装置以及存储介质，以至少解决现有技术中存在的数据表数量庞大以及数据冗余的技术问题。

根据本申请实施例的一个方面，提供了一种数据治理方法，包括：根据多表之间的依赖关系确定与主题表对应的数据源表；根据主题表以及相应的数据源表之间的依赖关系表对主题表进行聚类；以及根据聚类结果对主题表进行替换。

根据本申请实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。

根据本申请实施例的另一个方面，还提供了一种数据治理装置，包括：第一确定模块，用于根据多表之间的依赖关系确定与主题表对应的数据源表；主题表聚类模块，用于根据主题表以及相应的数据源表之间的依赖关系表对主题表进行聚类；以及主题表替换模块，用于根据聚类结果对主题表进行替换。

根据本申请实施例的另一个方面，还提供了一种数据治理装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：根据多表之间的依赖关系确定与主题表对应的数据源表；根据主题表以及相应的数据源表之间的依赖关系表对主题表进行聚类；以及根据聚类结果对主题表进行替换。

在本申请实施例中，通过溯源分析找到每份数据对应的源表，再通过聚类算法对相似性高的数据归类，然后分门别类进行治理。从而减少不必要的重复资源占用。本技术方案通过整合相似度高的业务报表形成规范性数据分析产品，引导业务使用规范产品，减少个性化需求，提高科技资源利用效率。并且本技术方案找到每张主题表上下层依赖关系，用新建主题表无损替换，并逐渐淘汰原有主题表，释放系统资源，提升科技资源利用效率。进而解决了现有技术中存在的数据表数量庞大以及数据冗余的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：