[发明专利]一种基于ROWID区间的初始化装载方法与装置

说明书

本发明公开了一种基于ROWID区间的初始化装载方法与装置，源端按照ROWID从小到大的顺序查询待装载表中的数据，并提取结果集发送到目的端；如果在提取结果集过程中报错“快照过旧”，则利用ROWID将本轮查询中已成功提取到结果集的行划分出一个ROWID区间，并将该ROWID区间对应的装载LSN保存到目的端；开启数据同步后，目的端根据操作日志中的ROWID值定位所属的ROWID区间，并找到对应的装载LSN以实现数据同步的过滤。本发明依靠ROWID来断点续传结果集数据，保证装载完成开启同步后源端数据库和目标端数据库的一致性，由此解决数据同步初始化装载时提取结果集报“快照过旧”错误的技术问题。

技术领域

本发明属于计算机技术领域，更具体地，涉及一种基于ROWID区间的初始化装载方法与装置。

背景技术

目前，基于数据库日志分析的异构数据库复制技术应用广泛，这种技术在源端捕获出数据库的增量数据然后发送到目标端，在目的端通过通用的数据库访问接口将增量数据应用到目的数据库，实现数据复制。这种技术由于使用到通用数据库接口，因此支持异构数据库系统复制，支持异构操作系统环境，并且目的端备机数据库系统可读写，是一种“双活”系统。

在进行数据库数据实时同步时，首先需要对目的数据库进行数据初始化操作，来获得数据同步的基础点；在完成数据初始化操作之后，即可在此基础之上进行实时增量数据同步。但在实际数据库应用中，源端数据库中可能存在很多应用，而且这些应用可能会分分秒秒地对数据库进行修改操作，这些修改操作涉及的表如果数据量很大，那么这些表在实现源端数据库到目的端数据库的数据初始化就需要很长的结果集提取时间，在多版本功能的数据库环境下提取结果集时就会经常报错“快照过旧”而导致初始化失败。

其中，快照过旧是带多版本功能数据库中很常见的一个错误，主要是由于数据库上频繁的操作快速消耗了回滚段的空间，数据库通过释放其它已提交事务的回滚段空间来进行补充，使得当前结果集提取时无法再通过相应的回滚段来回溯对应记录的修改历史而报错，因为此时对应的回滚段已经被释放不存在了。在传统方案中，同步初始化碰到“快照过旧”错误时，往往采用调整源端数据库的运行参数的方式，比如扩展回滚段空间或延长回滚段空间释放时间等措施，但是这些措施的实施存在很大的不确定性，因为在生产系统调整这些运行参数往往得不到用户的同意，就算同意，调整以后再次装载依然无法避免再次报错，也就是说这个错误仍然不可避免。因此，找到一种可以解决“快照过旧”错误对数据同步时初始化装载功能的影响，保证装载完成开启同步以后源端数据库和目标端数据库的一致性，就成为业界亟待解决的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于ROWID区间的初始化装载方法，其目的在于依靠ROWID来断点续传结果集数据，保证装载完成开启同步后源端数据库和目标端数据库的一致性，由此解决数据同步初始化装载时提取结果集报“快照过旧”错误的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于ROWID区间的初始化装载方法，包括：

源端按照ROWID从小到大的顺序查询待装载表中的数据，并提取结果集发送到目的端，直至结果集提取完成；

如果在提取结果集过程中报错“快照过旧”，则利用ROWID将本轮查询中已成功提取到结果集的行划分出一个ROWID区间，并将该ROWID区间对应的装载LSN保存到目的端；

开启数据同步后，目的端根据操作日志中的ROWID值定位所属的ROWID区间，并找到对应的装载LSN以实现数据同步的过滤。

优选地，当源端数据库支持闪回查询功能时，所述源端按照ROWID从小到大的顺序查询待装载表中的数据，并提取结果集发送到目的端，具体为：

在源端查询当前事务的提交LSN，并将当前事务的提交LSN作为本轮查询的装载LSN；