[发明专利]基于MPP数据库的自助式实时数据比对方法及系统

权利要求书

1.一种基于MPP数据库的自助式实时数据比对方法，其特征在于，包含：

构建用户比对需求中源数据和目标数据的比对参数，并将源数据和比对参数进行缓存，所述比对参数包含比对基准字段和比对信息项；

将源数据加载至大规模并行处理架构MPP数据库，在大规模并行处理架构MPP数据库中利用比对参数对源数据和目标数据进行比对并输出，其中，目标数据在变动数据捕获后通过数据加工过程被加载至大规模并行处理架构MPP数据库。

2.根据权利要求1所述的基于MPP数据库的自助式实时数据比对方法，其特征在于，构建用户比对需求中源数据和目标数据的比对参数，并将源数据和比对参数进行缓存，包含：

首先，依据用户在用户交互界面选择的字段和信息项来生成用于待比对源数据和目标数据比对的比对参数；

然后，将用户上传的源数据上传至对象存储组件服务中进行中转存储，并利用任务消息队列存储当前待比对任务的比对参数。

3.根据权利要求2所述的基于MPP数据库的自助式实时数据比对方法，其特征在于，将用户上传的源数据上传至对象存储组件服务中进行中转存储时，通过调用对象存储服务OSS接口将用户上传的源数据上传至对象存储组件服务，并获取对象存储组件服务中源数据的ID信息。

4.根据权利要求1所述的基于MPP数据库的自助式实时数据比对方法，其特征在于，将源数据加载至大规模并行处理架构MPP数据库，在大规模并行处理架构MPP数据库中利用比对参数来获取源数据和目标数据比对结果并输出，包含：

首先，业务数据经过变动数据捕获和实时加工处理后作为目标数据被加载至大规模并行处理架构MPP数据库中，并将比对任务源数据加载到脚本机器内存中，依据比对基准字段将源数据和目标数据项转嵌入大规模并行处理架构MPP数据库SQL语句，利用SQL查询子句与其他表单进行关联；

接着，依据大规模并行处理架构MPP数据库中数据表和比对信息项的映射关系，将比对信息项映射到表单子句中；将比对信息项和比对信息项对应的查询条件嵌入SQL语句并生成表单对应的子查询；

然后，将所有表单的子查询及大规模并行处理架构MPP数据库转嵌入的源数据和目标数据进行主键关联来生成最终SQL查询语句；

最后，利用大规模并行处理架构MPP数据库执行最终SQL查询语句来返回源数据和目标数据比对结果并输出。

5.根据权利要求4所述的基于MPP数据库的自助式实时数据比对方法，其特征在于，依据比对基准字段将源数据和目标数据转嵌入大规模并行处理架构MPP数据库SQL语句，包含：

判断源数据的数据量是否小于预设阈值上限，若小于预设阈值上限，则通过比对基准字段将源数据转嵌入大规模并行处理架构MPP数据库并生成转嵌入SQL语句，将所有数据的转嵌入SQL语句合并组合为SQL语句的子查询，若高于预设阈值上限，将源数据进行分批次转嵌入至大规模并行处理架构MPP数据库，并在每个批次中分配数据ID，直至通过比对基准字段将全部源数据嵌入大规模并行处理架构MPP数据库。

6.根据权利要求1或4所述的基于MPP数据库的自助式实时数据比对方法，其特征在于，利用大规模并行处理架构MPP数据库执行最终SQL查询语句来返回源数据和目标数据比对结果并输出，包含：

首先，利用大规模并行处理架构MPP数据库执行最终SQL查询语句并获取查询的数据结果；

然后，将查询的数据结果和源数据及目标数据通过基准字段进行拼接，生成用于输出的源数据和目标数据比对数据。

7.根据权利要求1所述的基于MPP数据库的自助式实时数据比对方法，其特征在于，构建用户比对需求中源数据和目标数据的比对参数之前，还包含：判断源数据和目标数据是否为新捕获的数据源，若是新捕获的数据源，则对该新数据源进行配置，将新捕获的数据源进行预处理后写入大规模并行处理架构MPP数据库，并生成用于构建比对参数中比对基准字段和比对信息项的候选选项。