[发明专利]多源数据比对和一致性处理方法、系统、装置及介质

权利要求书

1.多源数据比对和一致性处理方法，其特征在于包括如下步骤：

通过数据抽取工具将多源数据汇聚，得到初始汇聚数据；

对于初始汇聚数据，通过预设的数据清洗规则、规则引擎、数据标准以及数据质量进行数据清洗，去除重复和异常的数据，得到清洗后数据；

对于清洗后数据，基于预设的数据比对规则、通过数据比对规则引擎进行数据比对，并通过标签管理核对数据比对的质量，得到比对后数据；

对于比对后数据，通过预设的数据标准化规范以及转换规则进行数据一致性处理，形成基础数据，并基于异常数据处理规则进行异常数据汇总，生成异常数据集。

2.根据权利要求1所述的多源数据比对和一致性处理方法，其特征在于通过数据抽取工具从将关系型数据库、内存数据库、分布式文件、搜索引擎ES、对象存储和异构数据库中抽取数据，以实现多源数据汇聚。

3.根据权利要求1所述的多源数据比对和一致性处理方法，其特征在于所述数据抽取工具为开源kettle。

4.根据权利要求1所述的多源数据比对和一致性处理方法，其特征在于所述数据比对规则为多个，对于所述多个数据比对规则，根据规则的优先级及逆行多批次数据比对，并基于标签管理中标签提取和标签图谱核对数据比对的质量。

5.多源数据比对和一致性处理系统，通过如权利要求1-4任一项所述多源数据比对和一致性处理进行多源数据的比对和一致性处理，所述系统包括：

规则配置模块，所述规则配置模块通过规则配置界面对外交互，用于配置规则，包括配置数据清洗规则、数据标准、数据质量、数据比对规则、优先级、标签管理、数据标准化规范以及转换规则；

数据抽取工具，所述数据抽取工具用于将多源数据汇聚，得到初始汇聚数据；

数据清洗模块，对于初始汇聚数据，所述数据清洗模块用于通过预设的数据清洗规则、规则引擎、数据标准以及数据质量进行数据清洗，去除重复和异常的数据，得到清洗后数据；

数据比对模块，对于清洗后数据，所述数据比对模块用于基于预设的数据比对规则、通过数据比对规则引擎进行数据比对，并通过标签管理核对数据比对的质量，得到比对后数据；

数据一致性处理模块，对于比对后数据，所述数据一致性处理模块用于通过预设的数据标准化规范以及转换规则进行数据一致性处理，形成基础数据，并基于异常数据处理规则进行异常数据汇总，生成异常数据集。

6.根据权利要求5所述的多源数据比对和一致性处理系统，其特征在于所述数据抽取工具用于从将关系型数据库、内存数据库、分布式文件、搜索引擎ES、对象存储和异构数据库中抽取数据，以实现多源数据汇聚。

7.根据权利要求5所述的多源数据比对和一致性处理系统，其特征在于所述数据抽取工具为开源kettle。

8.根据权利要求5所述的多源数据比对和一致性处理系统，其特征在于所述数据比对规则为多个，对于所述多个数据比对规则，所述数据比对模块用于根据规则的优先级及逆行多批次数据比对，并基于标签管理中标签提取和标签图谱核对数据比对的质量。

9.装置，其特征在于，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至4中任一所述的方法。

10.介质，为计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至4任一所述的方法。