[发明专利]一种事务数据处理方法以及处理器

说明书

本发明公开了一种事务数据处理方法，该方法包括步骤A、将事务代码转换为可重新排序的块，同时保留任意重新排序块中的语句中的初始执行顺序与语义；B、当程序获取所有重新排序块时，利用时间滑动窗口计数器来对每个重新排序块的最大冲突争用程度进行测量与收集；C、利用获取的重新排序的事务块与事务争用程度，进行事务重排，提高并发执行效率。本文第一次观察并提出了在事务流水线模式与并发机制下存在有害的排序，并提出两种机制来提取重新排序块以及识别对象的冲突程度，从而在HFT(High Frequency Trading)应用下可以使用的更加优秀的并发控制机制。

技术领域

本发明涉及到并发控制与并发效率技术领域，尤其是涉及到一种通过调整事务顺序来降低事务危害性的事务流水线模式并发控制机制方法。

背景技术

Transaction Pipeline(事务流水线模式)相比目前其他的并发控制机制，提出了更高效的并发控制机制，同时也保证了事务的可串行性。pipeline又称为流水线模式，是一种计算机普遍使用的技术。举个最普遍的例子，如图1所示cpu流水线，一个流水线分为4部分，每个部分可以独立工作，于是可以处理多个数据流。linux流水线模式也是一个常用的流水线模式技术，其字符处理功能十分强大。在分布式处理领域，由于流水线模式是数据驱动，而目前流行的Spark分布式处理平台也是数据驱动的，两者非常合拍，于是在spark的新的api里面pipeline模式得到了广泛的应用。还有java web中的struct的filter、netty的pipeline，无处不见pipeline模式。

该模式常见的解决问题：有时一些线程的步奏比较冗长，而且由于每个阶段的结果与下阶段的执行有关系，又不能分开。

常见的解决思路：可以将任务的处理分解为若干个处理阶段，上一个阶段任务的结果交给下一个阶段来处理，这样每个线程的处理是并行的，可以充分利用资源提高计算效率。

然而目前常见的事务并发机制对于读写冲突的执行有很大的限制。如果事务T2读取T1对记录x的写入，并且T1在x上保持写锁定直到完成，T2的读取只能在T1完成之后被处理。在常用的机制下，事务在本地缓冲区中执行写入操作，只能复制在验证后写入活动数据库操作的内容。因此，交易的写仅在交易结束时才可见。相比之下，transaction pipeline允许事务读取未提交写入(脏读)，并对执行脏读操作的事务执行提交。实际上，如果事务T写入一个记录并且稍后中止，则任何读取T的写入的事务也将中止。为了确保可串行化，事务流水线确定在冲突事务中检测到第一个冲突操作时的依赖关系，后来的操作不能违反这种关系。例如，第一次T2读取T1的写入，确定T2应在T1之后发生。然后，T2可以在T1尝试读取和写入y之前写另一个记录y。当T1访问y时，T1将检测到关系违规，因此T2必须撤销记录y上的工作，并在T1执行记录y后重做执行。以这种方式，事务流水线实际上延迟了T2的后期冲突操作，直到T1在这些操作上执行。

然而大多的transaction pipeline都是不同的静态分析技术，不能动态的应用在HFT应用上，另外由于它们不考虑事务的重排执行它们在HFT工作程序下表现的性能也很差。同时目前的技术低估了并发计算竞争程度，不能减少交易流水线上事务执行的延误。

发明内容

鉴于上述问题，针对上面提出的优点与缺点，本文提出一种全新的并发控制技术，强调了在不影响事务可串行性与执行的情况下对事务执行顺序进行重新排序可以大大提高流水线模式的并发机制效率，同时可以快速动态的生成SQLs在HFT这种变化速度较高的应用程序下，从而大大提高高频交易的并发执行效率。。

本发明的一个方面，提供了一种事务数据处理方法，该方法包括：步骤A、将事务代码转换为可重新排序的块，同时保留任意重新排序块中的语句中的初始执行顺序与语义。B、当程序获取所有重新排序块时，利用时间滑动窗口计数器来对每个重新排序块的最大冲突争用程度进行测量与收集。C、利用获取的重新排序的事务块与事务争用程度，进行事务重排，提高并发执行效率。