[发明专利]数据比对方法、系统、电子设备和存储介质

说明书

本发明涉及数据处理技术领域，提供一种数据比对方法、系统、电子设备和存储介质。所述数据比对方法包括：任务获取步骤：获取比对任务的比对信息，包括基准数据源和比对数据源、待比对数据的查询条件和分页抽取模式；数据抽取步骤：根据所述分页抽取模式，分别自所述基准数据源和所述比对数据源中抽取满足所述查询条件的基准数据和比对数据，并建立所述基准数据和所述比对数据的映射关系；数据比对步骤：对相映射的每组基准数据和比对数据进行比对，生成包含所述比对数据与对应的基准数据的差异标记的比对结果。本发明能够实现海量数据的差异化比对，根据需要灵活取数，提高数据比对验证的效率和系统的稳定性。

技术领域

本发明涉及数据处理技术领域，具体地说，涉及一种数据比对方法、系统、电子设备和存储介质。

背景技术

数据迁移、不同系统数据同步在信息化系统中非常常见，在数据迁移、数据同步等操作前，需要对数据进行比对验证，确保迁移、同步等操作的可靠性。

传统的数据比对验证，通过采取抽样、人工检测、数据总量验证等方式进行数据一致性的验证，覆盖范围非常有限，常会导致大量重复工作，无法灵活地进行数据比对验证，且缺少系统化的结果报告。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种数据比对方法、系统、电子设备和存储介质，能够实现海量数据的差异化比对，根据需要灵活取数，提高数据比对验证的效率和系统的稳定性。

本发明的一个方面提供一种数据比对方法，包括：任务获取步骤：获取比对任务的比对信息，包括基准数据源和比对数据源、待比对数据的查询条件和分页抽取模式；数据抽取步骤：根据所述分页抽取模式，分别自所述基准数据源和所述比对数据源中抽取满足所述查询条件的基准数据和比对数据，并建立所述基准数据和所述比对数据的映射关系；数据比对步骤：对相映射的每组基准数据和比对数据进行比对，生成包含所述比对数据与对应的基准数据的差异标记的比对结果。

在一些实施例中，所述任务获取步骤之前，还包括任务生成步骤，所述任务生成步骤包括：接收主任务配置的比对信息，生成消息队列，所述主任务配置的比对信息包括基准数据源、进行数据抽取的取数条件和分页抽取模式；接收基于所述主任务的多个子任务配置的比对信息，生成所述消息队列的多个消费者，每个所述子任务配置的比对信息包括比对数据源、基于所述取数条件的查询条件、及数据比对模式；所述任务获取步骤、所述数据抽取步骤和所述数据比对步骤分别由每个所述消费者执行，多个所述消费者并行消费所述消息队列的多条消息，每条消息包括所述主任务的比对信息和对应的子任务的比对信息。

在一些实施例中，所述取数条件和所述查询条件均以键值方式存储；所述取数条件中，以所述待比对数据的数据特征为键，以所述待比对数据的数据范围为值；所述查询条件中，以满足所述数据特征的变量名为键，以满足所述数据范围的变量值为值。

在一些实施例中，所述数据比对步骤包括：根据所述数据比对模式，过滤相映射的每组基准数据和比对数据中的忽略字段，所述数据比对模式包括严格模式和非严格模式；对每组所述基准数据和比对数据中保留的目标字段进行比对，并当所述比对数据的目标字段与对应的基准数据的目标字段存在差异时根据差异类型进行差异标记；生成包含所述基准数据、所述比对数据、及所述比对数据与对应的基准数据的差异标记的比对结果。

在一些实施例中，所述分页抽取模式的结束条件为时间截止条件或数量截止条件。

在一些实施例中，所述数据比对步骤之后，还包括可视化展示步骤，所述可视化展示步骤包括：根据所述比对结果，生成可视化报告，展示至对应页面。

在一些实施例中，所述比对结果存储于Elasticsearch中。