[发明专利]数据迁移方法及装置

说明书

本发明实施例提供一种数据迁移方法及装置，其中方法包括根据待迁移的数据表的外键，对数据表进行初始分组，初始分组结果包括：用于统计具有外键关联的数据表对的第一集合、用于统计没有外键且不是顶级节点的数据表的第二集合和用于统计没有外键且是顶级节点的数据表的第三集合；分析第一集合和第三集合中数据表的关联关系，对第一集合和第三集合重组，获得具有多个新集合的重组结果；根据重组结果和第二集合进行数据迁移。本发明实施例能够快速地根据数据表的关联关系进行迁移。

技术领域

本发明涉及数据库迁移技术领域，更具体地，涉及数据迁移方法及装置。

背景技术

在一些业务系统中，为了更好的提供系统服务、降低维护成本，系统会经历较大的技术升级，这可能就会涉及到底层数据的重构和迁移。例如，从A系统迁移到B系统中，会涉及到数据库、数据库表、数据表字段、字段类型等的变更。为了保证迁移后的数据在新系统业务流程上可用，且不会对现有的业务造成影响，需要有一整套的数据迁移正确性的验证方案。所以，需要设计一套完善的数据迁移验证方案来保证数据的一致性、准确性、可用性。

现有的数据迁移方案通常将待迁移的数据按照数据的存储位置或者数据类型进行迁移，比如先将同一个文件夹中的数据迁移，之后再迁移下一个文件夹中的数据，还比如先将同一后缀(比如jar)的数据进行迁移，之后再迁移新的后缀的数据，但这两种现有的数据迁移方法均存在迁移效率较低的问题。

发明内容

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的数据迁移方法及装置。

第一个方面，本发明实施例提供一种数据迁移方法，包括：

根据待迁移的数据表的外键，对所述数据表进行初始分组，初始分组结果包括：用于统计具有外键关联的数据表对的第一集合、用于统计没有外键且不是顶级节点的数据表的第二集合和用于统计没有外键且是顶级节点的数据表的第三集合；

分析所述第一集合和第三集合中数据表的关联关系，对所述第一集合和第三集合重组，获得具有多个新集合的重组结果；

根据所述重组结果和第二集合进行数据迁移；

其中，在所述重组结果中，每个新集合中的任意一个数据表满足以下条件：数据表与所在集合中的其他一个数据表存在外键关联；且数据表与其他集合中的任意一个数据表不具有外键关联。

进一步地，所述分析所述第一集合和第三集合中数据表的关联关系，对所述第一集合和第三集合重组，获得具有多个新集合的重组结果，具体为：

创建与所述第三集合中数据表个数相等的新集合，将所述第三集合中的每个数据表分别作为对应新集合的第一个元素；

对于第一集合中的任意一个数据表对，在所述第三集合中查找是否存在所述数据表对中的主表；

若所述第三集合中存在所述数据表对中的主表，则将所述数据表对中的从表置于所述数据表对中的主表所在的新集合中，并将所述数据表对从所述第一集合中删除；

若所述第三集合中不存在所述数据表对中的主表，则在所述第一集合中查找所述主表作为从表的数据表对作为第一个待组合数据表对，在所述第三集合中继续查找是否存在所述待组合数据表对中的主表，若不存在则继续在所述第一集合中查找所述待组合数据表对中的主表作为从表的数据表对，作为下一个待组合数据表对，直至查找到的数据表对中的主表存在于所述第三集合，将所述数据表对以及所有待组合数据表对中的数据表置于查找的最后一个待组合数据表对的主表所在的新集合中，并将所述数据表对以及所有待组合数据表对中的数据表从所述第一集合中删除。

进一步地，所述根据待迁移的数据表的外键，对所述数据表进行初始分组，包括：

根据待迁移的数据表的数量，确定进行初始分组的线程个数，每个线程用于对自身分组范围内的数据表进行初始分组。