[发明专利]一种基于大数据的数据治理系统及其治理方法

权利要求书

1.一种基于大数据的数据治理系统，其特征在于包括：

数据采集模块(1)，用于对待处理数据进行采集；

数据分类模块(2)，用于对待处理数据进行分类；

治理任务分配模块(3)，用于分配数据治理任务；

治理任务实施模块(4)，用于对数据治理任务进行实施；

数据整合模块(5)，用于对处理后的数据进行整合。

2.一种权利要求1所述的基于大数据的数据治理系统的治理方法，其特征在于包括以下步骤：

A、数据采集模块(1)对待处理数据进行采集；

B、数据分类模块(2)根据预设的数据治理任务对数据进行分类；

C、治理任务分配模块(3)对数据治理任务进行分配；

D、治理任务实施模块(4)根据数据治理任务分配结果对数据治理任务进行实施；

E、数据整合模块(5)，对处理后的数据进行整合。

3.根据权利要求2所述的基于大数据的数据治理系统的治理方法，其特征在于：步骤B中，对数据进行分类包括以下步骤，

B1、在预设的数据治理任务中提取分类关键字；

B2、对分类关键字进行聚类处理，并建立不同聚类中心之间的关联映射；

B3、对每一类的分类关键字进行调整，使得所有聚类中心之间的关联映射线性相关；

B4、使用经过步骤B3调整后的聚类中心对数据进行分类。

4.根据权利要求3所述的基于大数据的数据治理系统的治理方法，其特征在于：步骤B2中，聚类后的聚类中心数量不大于20，若聚类后的聚类中心数量大于20，则根据数据量对各个聚类组进行降序排列，保留前20个聚类组，将其余聚类组中的数据根据其与保留的聚类中心的相似度，选择相似度最高的聚类中心进行合并。

5.根据权利要求4所述的基于大数据的数据治理系统的治理方法，其特征在于：步骤C中，对数据治理任务进行分配包括以下步骤，

C1、对数据治理任务进行优先级排序；

C2、优先分配高优先级数据治理任务；在实施数据治理任务的同时，将与涉及到的数据聚类组关联度最大的数据治理任务的优先级上调，上调幅度与上述关联度成正比。

6.根据权利要求5所述的基于大数据的数据治理系统的治理方法，其特征在于：步骤D中，对数据治理任务进行实施包括以下步骤，

D1、对数据治理任务进行分解，得到若干个任务节点；

D2、在每个任务节点上同步开始数据治理运算，数据治理运算过程中使用其起始的任务节点对处理过的数据进行标记。