[发明专利]基于数据页预加载的数据库数据同步方法及设备

说明书

本发明实施例提供了一种基于数据页预加载的数据库数据同步方法及设备。所述方法包括：在目标端数据同步服务接收待同步的事务操作，按所述事务操作的ID进行分类缓存，若接收到任一所述ID所代表事务的COMMIT操作日志，则将事务中的UPDATE操作和/或DELETE操作，转换成SELECT操作，并将转换后的SELECT操作投递至数据页预加载线程，所述数据页预加载线程异步执行所述转换后的SELECT操作，实现所述待同步事务涉及的数据页预加载；激活执行线程，执行预加载的所述待同步事务，同步所述待同步事务。本发明实施例提供的基于数据页预加载的数据库数据同步方法及设备，可以有效提升数据库事务同步时的同步效率。

技术领域

本发明实施例涉及数据库数据处理技术领域，尤其涉及一种基于数据页预加载的数据库数据同步方法及设备。

背景技术

传统的基于数据库自身的主备机制实现数据库数据的实时复制，是进行数据容灾备份，保障数据安全的重要的解决方案。数据库主备机制下，一般备机作为备份节点，通常只提供只读访问，可以在备机上做一些报表分析、数据挖掘等只读访问的应用，而不能像主机一样提供读写访问。另外，数据库主备机制要求备机数据库系统和主机一致，对于异构数据库系统环境，则不能利用数据库自身的主备机制实现有效的数据实时复制。针对数据库主备机制实现数据复制的不足，目前基于软件的异构数据库复制技术应用广泛。这种技术在源端捕获出数据库的增量数据，然后发送到目标端，在目标端通过通用的数据库访问接口，将增量数据应用到目标数据库，实现数据复制。这种技术因为使用到通用数据库接口，因此支持异构数据库系统复制，支持异构操作系统环境，并且目标端备机数据库系统可读写，是一种“双活”系统。

有多种技术方式实现获取源端数据库的增量数据，其中基于数据库日志捕获分析的数据实时同步技术，因其对源数据库侵入性小，捕获分析性能高，得到较大发展及研究。这种技术通过分析源数据库归档或联机日志，捕获出数据库的INSERT、UPDATE、DELETE操作日志，然后发送到目标端，目标端对日志信息进行逆向生成，恢复成SQL语句方式，然后使用数据库通用接口，应用到目标数据库，实现数据复制。因此，在数据库实时复制过程中，目标端的执行效率是影响数据同步性能的重要因素。

目标端数据库上执行同步事务时，如果同步事务中操作相关数据页都已经加载，那么事务执行的效率将会较为高效；否则，如果同步事务中操作相关的数据页还在数据库磁盘文件中，访问这些页时则需要等待IO线程从磁盘上加载该页，事务执行的效率将会变得非常缓慢，影响数据同步的效率。因此，如何提高事务同步时操作访问数据页的命中率就可以提升目标端数据复制的执行效率，就成为业界亟待解决的重要技术问题。

发明内容

针对现有技术存在的上述问题，本发明实施例提供了一种基于数据页预加载的数据库数据同步方法及设备。

第一方面，本发明的实施例提供了一种基于数据页预加载的数据库数据同步方法，包括：在目标端数据同步服务接收待同步的事务操作，按所述事务操作的ID进行分类缓存，若接收到任一所述ID所代表事务的COMMIT操作日志，则将事务中的UPDATE操作和/或DELETE操作，转换成SELECT操作，并将转换后的SELECT操作投递至数据页预加载线程，所述数据页预加载线程异步执行所述转换后的SELECT操作，实现所述待同步事务涉及的数据页预加载；激活执行线程，执行预加载的所述待同步事务，同步所述待同步事务。

进一步地，所述则将事务中的UPDATE操作和/或DELETE操作，转换成SELECT操作,包括：遍历待同步的事务操作，若事务中存在UPDATE操作和/或DELETE操作，则采用UPDATE操作和/或DELETE操作中的条件列,构造SELECT操作。

进一步地，所述则采用UPDATE操作和/或DELETE操作中的条件列,构造SELECT操作，包括：若UPDATE操作和/或DELETE操作出现连续批量操作，则将所述连续批量操作上下预设距离范围内的UPDATE操作和/或DELETE操作，转换为SELECT操作。