[发明专利]一种基于事务合并的并行执行方法及设备

说明书

本发明涉及一种基于事务合并的并行执行方法及设备。其方法包括：将单事务合并为多事务且设置多事务的提交LSN以及并行LSN，并将多事务注册到执行线程链表；单事务处理步骤：执行线程提取多事务中的下一个单事务开始执行，把该单事务的提交LSN作为当前分隔线LSN；通过对并行LSN大小、分隔线LSN大小、当前操作影响行数的判断以及操作合并执行的判断来进入相对应的步骤；线程提交的判断步骤：判断当前单事务是否为最后一个单事务，若是则执行线程提交操作；若不是则重新进入单事务处理步骤。本发明对不满足并行执行的事务，采取回滚到上一个保存点并等待前面多事务提交以后再执行的方式，避免执行时带来的数据冲突，确保数据同步的一致性。

技术领域

本发明实施例涉及数据库数据处理技术领域，尤其涉及一种基于事务合并的并行执行方法及设备。

背景技术

目前基于日志解析的异构数据库复制技术应用广泛。这种技术在源端捕数据库的日志，解析出日志中的INSERT、UPDATE、DELETE操作，然后发送到目标端，目标端对日志信息进行逆向生成，恢复成SQL语句方式，然后使用数据库通用接口，应用到目标数据库，实现数据复制。因此，在数据库实时复制过程中，目标端的执行效率是影响数据同步性能的重要因素。目标端数据库上执行同步事务时，需要以事务的提交顺序为基准来执行事务操作，不然前后有关联的操作执行时就会发生错误，从而影响同步的正确性。为了追求数据同步的性能，执行同步事务时往往会采取事务合并的策略，把小事务合并为大事务，不仅可以通过合并不同事务的相同操作来减少执行的次数，还可以减少事务提交的次数，从而达到提升同步性能的目的。另外还可以通过增加执行事务的线程数，采用多线程并行的策略同时对多个合并以后的事务进行入库，进一步的提升同步的性能。但是在同时采用了事务合并和并行执行的策略以后，会造成并行执行时带来的数据冲突问题，进而影响数据同步的一致性。

鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

发明内容

本发明要解决的技术问题之一是解决采取常规的事务合并以及多线程并行执行的策略所带来的数据冲突，进而影响数据同步一致性的问题。

本发明采用如下技术方案：

第一方面，本发明提供了一种基于事务合并的并行执行方法，方法包括：

将单事务合并为多事务且设置多事务的提交LSN以及并行LSN，并将多事务注册到执行线程链表；

单事务处理步骤：执行线程提取多事务中的下一个单事务开始执行，把该单事务的提交LSN作为当前分隔线LSN；

通过对并行LSN大小、分隔线LSN大小、当前操作影响行数的判断以及操作合并执行的判断来进入相对应的步骤；

线程提交的判断步骤：判断当前单事务是否为最后一个单事务，若是则执行线程提交操作；若不是则重新进入单事务处理步骤。

优选的，还包括部署准备步骤：

在源端数据库以及目标端数据库均部署数据同步服务；

目标端数据同步服务启动后，初始化待执行链表、执行线程、唤醒链表以及执行线程链表；

目标端数据同步服务接收到源端操作后，按操作的事务ID进行分类管理，当某个事务提交以后，把该事务按提交操作的LSN大小顺序存入待执行链表。

优选的，所述单事务处理步骤还包括：判断当前执行线程的唤醒链表，将唤醒类型为执行等待并且执行LSN小于分隔线LSN的执行线程唤醒。

优选的，所述通过对并行LSN大小、分隔线LSN大小、当前操作影响行数的判断以及操作合并执行的判断来进入相对应的步骤：

并行LSN判断步骤：根据当前操作的LSN以及排在当前执行线程之前的执行线程的并行LSN的大小来选择进入操作类型判断步骤或分隔线LSN判断步骤；