[发明专利]一种增量标识修正方法及装置

说明书

本申请公开了一种增量标识修正方法及装置，在检测到数据库中新增数据的情况下，获取各条新增数据的增量标识。在检测到目标新增数据所在的数据行解锁的情况下，将目标新增数据的增量标识的字段长度，从第一数值纠正为第二数值，并按照目标新增数据所在的数据行的解锁时间，在解锁排序中的序位，纠正目标新增数据的增量标识指示的序位。当外部应用获取新增数据时，因增量标识所指示的顺序不再是新增数据写入数据库的顺序，而是新增数据所在数据行解锁时间由早至晚的顺序，因此，按照纠正后的标识，不会遗漏任意一条新增数据，有效解决数据遗漏问题，并且，无需重复读取已经读取到的数据，提高了增量更新的效率。

技术领域

本申请涉及数据处理领域，尤其涉及一种增量标识修正方法及装置。

背景技术

企业数据仓库构建过程中，从关系型数据库获取数据通常有两种方式：一是联机事务处理(On-Line TransactionProcessing，OLTP)系统中定时获取全量数据，二是从OLTP系统中定时获取增量数据。众所周知，随着数据量堆积增长，每次获取全量数据的性能将会逐渐降低直至无法接受，因此，增量获取是日常数据仓构建过程中最常用的方式。

实现增量数据获取，需要数据源即数据仓库的上游数据，至少有一个增量标识字段，比如时间戳、或者自增长的序列字段，并在数据读取时，依据该增量标识字段的增长特性提取增量数据。如今的关系型数据库系统是一个多用户并发系统，采用的是多版本并发控制(Multi-Version Concurrency Control，mvcc)机制，即只上锁必要的数据行，便可以允许多个事务对同一张表中非上锁的行进行增删改操作(即写入数据、删除数据、修改数据)，故而mvcc机制为多事务并发执行提供了便利。

目前，在增量获取数据库中的增量数据时，会重复执行读取进程，因此，已经被读取的数据会被再次读取，明显的，虽然获取的是增量数据，但因为会重复读取增量数据，所以效率有待提高。

发明内容

申请人在研究的过程中发现，在mvcc机制下实现多事务并发处理(例如多个事务并行向数据表中写入数据)过程中，由于各个事务的执行周期各不相同，个别事务会后执行并先结束，个别事务却是先执行后结束，即存在倒序现象，因此，读取增量数据时可能会发生增量数据的遗漏。所以，需要多次执行读取增量数据的过程，因此效率有待提高。

本申请提供了一种增量标识修正方法及装置，用于在多事务并发执行的情况下，通过对新增数据的增量标识进行修正，解决增量数据获取过程中因倒序现象所导致的数据遗漏以及数据读取效率不高的问题。

为了实现上述目的，本申请提供了以下技术方案：

一种增量标识修正方法，包括：

在检测到数据库中新增数据的情况下，获取各条所述新增数据的增量标识；其中，各条所述新增数据的所述增量标识用于指示，各条所述新增数据写入所述数据库的顺序，所述新增数据写入所述数据库的时间越早，则所述增量标识所指示的序位越小；

在检测到目标新增数据所在的数据行解锁的情况下，将所述目标新增数据的所述增量标识的字段长度，从第一数值纠正为第二数值；所述目标新增数据为，任意一条所述新增数据；

在检测到所述目标新增数据所在的数据行解锁的情况下，按照所述目标新增数据所在的数据行的解锁时间，在解锁排序中的序位，纠正所述目标新增数据的所述增量标识指示的所述序位，所述解锁排序为各条所述新增数据所在的数据行的解锁时间按照从早至晚的排序。

可选的，所述在检测到目标新增数据所在的数据行解锁的情况下，将所述目标新增数据的所述增量标识的字段长度，从第一数值纠正为第二数值，包括：

检测所述目标新增数据所在的数据行的变更详情，所述变更详情用于指示所述数据行处于上锁状态、或者解锁状态；