[发明专利]数据比对方法、系统、电子设备和存储介质

权利要求书

1.一种数据比对方法，其特征在于，包括：

任务获取步骤：获取比对任务的比对信息，包括基准数据源和比对数据源、待比对数据的查询条件和分页抽取模式；

数据抽取步骤：根据所述分页抽取模式，分别自所述基准数据源和所述比对数据源中抽取满足所述查询条件的基准数据和比对数据，并建立所述基准数据和所述比对数据的映射关系；

数据比对步骤：对相映射的每组基准数据和比对数据进行比对，生成包含所述比对数据与对应的基准数据的差异标记的比对结果。

2.如权利要求1所述的数据比对方法，其特征在于，所述任务获取步骤之前，还包括任务生成步骤，所述任务生成步骤包括：

接收主任务配置的比对信息，生成消息队列，所述主任务配置的比对信息包括基准数据源、进行数据抽取的取数条件和分页抽取模式；

接收基于所述主任务的多个子任务配置的比对信息，生成所述消息队列的多个消费者，每个所述子任务配置的比对信息包括比对数据源、基于所述取数条件的查询条件、及数据比对模式；

所述任务获取步骤、所述数据抽取步骤和所述数据比对步骤分别由每个所述消费者执行，多个所述消费者并行消费所述消息队列的多条消息，每条消息包括所述主任务的比对信息和对应的子任务的比对信息。

3.如权利要求2所述的数据比对方法，其特征在于，所述取数条件和所述查询条件均以键值方式存储；

所述取数条件中，以所述待比对数据的数据特征为键，以所述待比对数据的数据范围为值；

所述查询条件中，以满足所述数据特征的变量名为键，以满足所述数据范围的变量值为值。

4.如权利要求2所述的数据比对方法，其特征在于，所述数据比对步骤包括：

根据所述数据比对模式，过滤相映射的每组基准数据和比对数据中的忽略字段，所述数据比对模式包括严格模式和非严格模式；

对每组所述基准数据和比对数据中保留的目标字段进行比对，并当所述比对数据的目标字段与对应的基准数据的目标字段存在差异时根据差异类型进行差异标记；

生成包含所述基准数据、所述比对数据、及所述比对数据与对应的基准数据的差异标记的比对结果。

5.如权利要求1所述的数据比对方法，其特征在于，所述分页抽取模式的结束条件为时间截止条件或数量截止条件。

6.如权利要求1所述的数据比对方法，其特征在于，所述数据比对步骤之后，还包括可视化展示步骤，所述可视化展示步骤包括：

根据所述比对结果，生成可视化报告，展示至对应页面。

7.如权利要求1所述的数据比对方法，其特征在于，所述比对结果存储于Elasticsearch中。

8.一种数据比对系统，其特征在于，包括：

任务获取模块，用于获取比对任务的比对信息，包括基准数据源和比对数据源、待比对数据的查询条件和分页抽取模式；

数据抽取模块，用于根据所述分页抽取模式，分别自所述基准数据源和所述比对数据源中抽取满足所述查询条件的基准数据和比对数据，并建立所述基准数据和所述比对数据的映射关系；

数据比对模块，用于对相映射的每组基准数据和比对数据进行比对，生成包含所述比对数据与对应的基准数据的差异标记的比对结果。

9.一种电子设备，其特征在于，包括：

一处理器；

一存储器，所述存储器中存储有可执行指令；

其中，所述可执行指令被所述处理器执行时，实现如权利要求1-7任一项所述的数据比对方法。

10.一种计算机可读的存储介质，用于存储程序，其特征在于，所述程序被执行时实现如权利要求1-7任一项所述的数据比对方法。