[发明专利]增量数据操作语句的并发应用装置和方法

说明书

技术领域

本发明涉及数据集成技术领域，具体而言，涉及增量数据操作语句的并发应用装置和方法。

背景技术

在相关的实时增量数据同步技术中，为了保证跨数据源的数据同步的绝对一致性必须把挖掘出来的数据(SQL操作)按事务进行分类，然后再按事务原来的顺序应用到目的数据源中。因为目前所有的数据库的普通事务都不支持跨连接，为了保证数据的绝对一致性通常只能使用一个连接去串行应用一个事务的所有SQL操作。这样，在大并发或者大压力的情况下就算有些事务本身可以去做多线程并发应用以提高性能，但因为普通数据库连接和事务的限制也不能去实现事务内SQL操作的并发应用，这使得对增量数据的应用模块成为了整个系统的瓶颈——既使目的数据源所在的服务器的配置很好也难以充分利用其资源以提高数据同步的性能。因此，需要一种并发应用技术，实现一种对符合条件的数据库操作进行并发应用以提高性能，消除实时增量数据同步时应用模块的瓶颈。

发明内容

本发明所要解决的技术问题在于，提供一种并发应用技术，以提高数据同步的性能。

根据本发明的一个方面，提供了一种增量数据操作语句的并发应用装置，用于将应用于第一数据源的增量数据操作语句同步应用于第二数据源，包括：任务确定单元，从所述第一数据源中获取增量数据操作语句，将所述增量数据操作语句汇总成事务，根据所述事务中的增量数据操作语句的数量计算所需的并发任务数，为每个并发任务分配相应的增量数据操作语句；创建单元，获取本地事务的标识并创建跨连接所述第二数据源的所述本地事务，创建所需的并发任务；应用单元，将所述本地事务的标识和所述并发任务对应的增量数据操作语句集合传送至所述并发任务并启动所述并发任务，以执行相应的所述增量数据操作语句的并发应用，在全部所述并发任务成功执行结束时，提交所述第二数据源的所述本地事务。

在上述技术方案中，优选地，所述应用单元还可以包括：资源释放模块，在提交所述第二数据源的所述本地事务后，释放全部所述并发任务的资源，等待处理下一个汇总成的所述事务。

在上述技术方案中，优选地，所述任务确定单元还可以包括：第一判断模块，在汇总所述事务时，判断所述事务中的增量数据操作语句是否属于同一操作属性(所述事务所包含的数据操作全部是插入操作或者全部是删除操作)，若所述增量数据操作语句属于同一操作属性，则为所述事务设置可进行并发应用的标志；第二判断模块，若判断出所述事务具有所述标志，则检查所述事务包含的增量数据操作语句的数量，若所述增量数据操作语句的数量超过阈值，则根据所述阈值拆分所述事务，以确定所需的并发任务数。

在上述技术方案中，优选地，所述创建单元从所述第二数据源维护的标识表获取最新标识的值，将所述最新标识的值加一后作为创建的所述本地事务的标识的值，并将创建的所述本地事务的标识更新至所述标识表，在所述第二数据源中保存本地事务的所述标识表。通过这种机制来保证本地事务的标识的全局唯一性。

在上述技术方案中，优选地，所述操作属性可以包括插入操作和删除操作；所述创建单元基于XA接口规范创建所述本地事务；所述第一数据源为OLTP数据源，所述第二数据源为OLAP数据源。

根据本发明的技术方案，还提供了一种增量数据操作语句的并发应用方法，用于将应用于第一数据源的增量数据操作语句同步应用于第二数据源，包括：步骤402，从所述第一数据源中获取增量数据操作语句，将所述增量数据操作语句汇总成事务，根据所述事务中的增量数据操作语句的数量计算所需的并发任务数，为每个并发任务分配相应的增量数据操作语句；步骤404，获取本地事务的标识并创建跨连接所述第二数据源的所述本地事务，创建所需的并发任务；步骤406，将所述本地事务的标识和所述并发任务对应的增量数据操作语句集合传送至所述并发任务并启动所述并发任务，以执行相应的所述增量数据操作语句的并发应用，在全部所述并发任务成功执行结束时，提交所述第二数据源的所述本地事务。

在上述技术方案中，优选地，所述步骤406还可以包括：在提交所述第二数据源的所述本地事务后，释放全部所述并发任务的资源，等待处理下一个汇总成的所述事务。

在上述技术方案中，优选地，所述步骤402可以包括：步骤4022，在汇总所述事务时，判断所述事务中的增量数据操作语句是否属于同一操作属性，若所述增量数据操作语句属于同一操作属性，则为所述事务设置可进行并发应用的标志；步骤4024，若判断出所述事务具有所述标志，则检查所述事务包含的增量数据操作语句的数量，若所述增量数据操作语句的数量超过阈值，则根据所述阈值拆分所述事务，以确定所需的并发任务数。