[发明专利]基于日志解析的增量数据比对方法、装置和电子设备

说明书

本发明实施例公开了基于日志解析的增量数据比对方法、装置和电子设备，该方法包括：对源数据库进行全量复制得到目标数据库；对源数据库和目标数据库进行全量比对；如果源数据库和目标数据库存储的数据完全相同，则以开始全量复制的时间点开始对源数据库和目标数据库进行数据同步；获取源数据库的日志数据；对源数据库的日志数据使用日志解析工具进行解析得到源数据库的增量数据；对源数据库的增量数据和目标数据库进行数据校验；如果源数据库的增量数据和目标数据库增量数据不完全相同，则进行报警。本发明可以进行比对时，不影响业务系统运行，且比对效率高，满足实时性要求高的迁移场景。

技术领域

本发明实施例涉及信息技术和数据库迁移领域，具体涉及基于日志解析的增量数据比对方法、装置和电子设备。

背景技术

随着信息系统数据量急剧增长，硬件成了性能瓶颈，传统的集中式架构已经很难满足系统的性能需求，数据库软件逐渐从集中式转向分布式架构；同时随着技术发展和进步，企业对于数据库的选型也不再局限于传统的商业大型关系数据库，开源数据库和国产数据库逐渐受到了企业用户的青睐，不仅新开发的应用开始使用开源或者国产数据库，越来越多的遗留应用也逐渐迁移到新的数据库平台之上。

基于以上需求，数据库迁移成为越来越多企业的强烈需求,也出现了各种类型的迁移工具。数据库迁移最重要的是数据的完整性和一致性，因此数据迁移完成后的数据比对和校验就显得尤为重要。

传统的比对和校验方式直接使用SQL语句从源数据库和目标数据库查询数据,然后在内存中进行比对，具有如下缺点：

1.全量查询源数据库和目标数据库的所有数据，数据量大，对比效率低；定制化比对部分内容，无法严格做到数据完整性和一致性的验证。

2.使用SQL语句直接查询数据库，对于数据库性能影响较大，比对和校验过程会影响系统业务的处理。

3.由于需要比对的数据量大，对于网络带宽，主机内存，CPU等提出了较高的要求。

4.数据比对和校验时间较长。

发明内容

本发明实施例的目的在于提供基于日志解析的增量数据比对方法、装置和电子设备，用以解决现有数据库迁移时数据一致性和完整性验证效率低，影响业务系统运行的问题。

为实现上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供了一种基于日志解析的增量数据比对方法，包括：

对所述源数据库进行全量复制得到目标数据库；

对所述源数据库和所述目标数据库进行全量比对，以检测所述源数据库和所述目标数据库存储的数据是否完全相同；

如果所述源数据库和所述目标数据库存储的数据完全相同，则以开始全量复制的时间点开始对所述源数据库和所述目标数据库进行数据同步；

以开始全量复制的时间点开始，获取所述源数据库的日志数据；

对所述源数据库的日志数据使用日志解析工具进行解析得到所述源数据库的增量数据；

对所述源数据库的增量数据和所述目标数据库进行数据校验，以校验所述源数据库的增量数据和所述目标数据库的增量数据是否完全相同；

如果所述源数据库的增量数据和所述目标数据库的增量数据不完全相同，则进行报警。

根据本发明的一个实施例，所述源数据库的增量数据包括增加数据、修改数据和删除数据；所述目标数据库的增量数据包括增加数据、修改数据和删除数据。

根据本发明的一个实施例，对所述源数据库的增量数据和所述目标数据库进行数据校验，包括：