[发明专利]一种基于大数据的数据治理系统及其治理方法

说明书

本发明公开了一种基于大数据的数据治理系统，包括数据采集模块，用于对待处理数据进行采集；数据分类模块，用于对待处理数据进行分类；治理任务分配模块，用于分配数据治理任务；治理任务实施模块，用于对数据治理任务进行实施；数据整合模块，用于对处理后的数据进行整合。本发明能够改进现有技术的不足，提高数据治理的处理效率。

技术领域

本发明涉及数据处理技术领域，尤其是一种基于大数据的数据治理系统及其治理方法。

背景技术

数据治理是指对数据中存在的内容不规范、格式不统一等问题进行处理的过程。在数据处理进入大数据时代后，数据治理的重要性日益明显，通过有效的数据治理可以明显提高数据处理的效率。不过，现有的数据治理过程本身就需要消耗大量的运算，不利于对于数据处理整个过程效率的提高

发明内容

本发明要解决的技术问题是提供一种基于大数据的数据治理系统及其治理方法，能够解决现有技术的不足，提高数据治理的处理效率。

为解决上述技术问题，本发明所采取的技术方案如下。

一种基于大数据的数据治理系统，包括：

数据采集模块，用于对待处理数据进行采集；

数据分类模块，用于对待处理数据进行分类；

治理任务分配模块，用于分配数据治理任务；

治理任务实施模块，用于对数据治理任务进行实施；

数据整合模块，用于对处理后的数据进行整合。

一种上述的基于大数据的数据治理系统的治理方法，包括以下步骤：

A、数据采集模块对待处理数据进行采集；

B、数据分类模块根据预设的数据治理任务对数据进行分类；

C、治理任务分配模块对数据治理任务进行分配；

D、治理任务实施模块根据数据治理任务分配结果对数据治理任务进行实施；

E、数据整合模块，对处理后的数据进行整合。

作为优选，步骤B中，对数据进行分类包括以下步骤，

B1、在预设的数据治理任务中提取分类关键字；

B2、对分类关键字进行聚类处理，并建立不同聚类中心之间的关联映射；

B3、对每一类的分类关键字进行调整，使得所有聚类中心之间的关联映射线性相关；

B4、使用经过步骤B3调整后的聚类中心对数据进行分类。

作为优选，步骤B2中，聚类后的聚类中心数量不大于20，若聚类后的聚类中心数量大于20，则根据数据量对各个聚类组进行降序排列，保留前20个聚类组，将其余聚类组中的数据根据其与保留的聚类中心的相似度，选择相似度最高的聚类中心进行合并。

作为优选，步骤C中，对数据治理任务进行分配包括以下步骤，

C1、对数据治理任务进行优先级排序；

C2、优先分配高优先级数据治理任务；在实施数据治理任务的同时，将与涉及到的数据聚类组关联度最大的数据治理任务的优先级上调，上调幅度与上述关联度成正比。

作为优选，步骤D中，对数据治理任务进行实施包括以下步骤，

D1、对数据治理任务进行分解，得到若干个任务节点；

D2、在每个任务节点上同步开始数据治理运算，数据治理运算过程中使用其起始的任务节点对处理过的数据进行标记。