[发明专利]应用于事项数据同步的数据处理方法、装置、设备、介质和程序产品

说明书

本公开提供了一种应用于事项数据同步的数据处理方法，可以应用于大数据技术领域。该应用于事项数据同步的数据处理方法包括：根据事项源数据确定与实施清单主表对应的多个事项；对应多个事项中的每个事项，通过实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据；以及对事项关联数据执行转换处理，以完成事项数据同步。本公开还提供了一种应用于事项数据同步的数据处理装置、设备、存储介质和程序产品。

技术领域

本公开涉及计算机技术领域，具体地涉及一种应用于事项数据同步的数据处理方法、装置、设备、介质和程序产品。

背景技术

在现代信息系统中，为实现不同业务交易服务同时保证数据实时性和完整性的目的，一般可以采用数据同步来实现将一数据库的中数据整体搬移至另一数据库中。其中，针对事项数据同步通常可以通过SQL存储过程，进行事项数据转换操作，根据到源数据库和目标数据库之间的对应关系，进行数据迁移，从而把不同的源数据批量转换成目标表数据，并根据每个表的同步时间进行增量同步，并不考虑表与表之间的关联，导致极易丢失数据，且出现异常也无法定位，进而影响用户体验。

发明内容

鉴于上述问题，本公开提供了提高数据同步完整性和准确性以改善用户体验的应用于事项数据同步的数据处理方法、装置、设备、介质和程序产品。

本公开的第一方面提供了一种应用于事项数据同步的数据处理方法，其中，包括：根据事项源数据确定与实施清单主表对应的多个事项；对应多个事项中的每个事项，通过实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据；以及对事项关联数据执行转换处理，以完成事项数据同步。

根据本公开的实施例，在根据事项源数据确定与主数据表对应的多个事项之前，还包括：对省库数据执行复制推送生成前置库数据；对前置库数据执行同步，生成事项源数据。

根据本公开的实施例，在根据事项源数据确定与主数据表对应的多个事项中，包括：分析事项源数据的目录表；根据目录表确定与实施清单主表对应的多个事项。

根据本公开的实施例，在对应多个事项中的每个事项，通过实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据中，包括：定时调取对应每个事项的实施清单主表的事项关联标识；根据事项关联标识依据事项时间戳查询对应每个事项的多个实施清单子表中的多个数据项；对应于多个数据项对多个实施清单子表中的数据执行遍历，生成事项关联数据。

根据本公开的实施例，在调取对应每个事项的实施清单主表的事项关联标识之前，还包括：读取事项源数据的查询记录，确定多个事项的事项数据量；根据事项数据量对多个事项执行分页查询。

根据本公开的实施例，在对应于多个数据项对多个实施清单子表中的数据执行遍历中，还包括：修改多个实施清单子表中对应每个事项的版本状态；对与多个实施清单子表对应的多个目标实施清单子表中对应每个事项的版本状态执行关联更新；响应于关联更新对多个目标实施清单子表进行要素扩展。

根据本公开的实施例，在对应多个事项中的每个事项，通过实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据中，还包括：检测在数据调取的过程中的异常数据；根据每个事项记录异常数据，生成异常数据集合。

根据本公开的实施例，在对事项关联数据执行转换处理，以完成事项数据同步中，包括：根据预设同步映射关系对事项关联数据执行映射转换，以生成对应目标实施清单主表和对应多个目标实施清单子表中的事项转换数据；其中，事项转换数据为多个事项中对应事项的映射转换数据。

本公开的第二方面提供了一种一种应用于事项数据同步的数据处理装置，包括事项确定模块、数据生成模块和数据处理模块。事项确定模块用于根据事项源数据确定与实施清单主表对应的多个事项；数据生成模块用于对应多个事项中的每个事项，通过实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据；以及数据处理模块用于对事项关联数据执行转换处理，以完成事项数据同步。