[发明专利]一种数据迁移方法和装置

说明书

本发明公开了一种数据迁移方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：步骤一，通过与每个业务对应的数据调度任务，将相应业务的数据从原数据库发送到消息服务器集群；步骤二，通过所述消息服务器集群将各业务的数据迁移到对应的数据库分库。该实施方式避免出现单一数据异常而无法继续迁移、以及单一机器宕机而使迁移任务中断的情况，实现了迁移服务的高可用运行，提高数据迁移效率，可扩展性强，充分利用了分库后的高吞吐性能，克服了迁移过程漫长的缺陷，实现迁移数据的校验、清理自动化，且对未成功迁移的数据，可自动重试。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据迁移方法和装置。

背景技术

互联网发展迅猛的今天，数据的增长量超乎想像，已经在几何性的飞速扩张，而任何系统随着时间和业务的发展，系统所涉及的数据也在逐渐的增加，并且每台机器的CPU、磁盘、内存都是有限的，数据量非常大时，数据库性能会非常差。因此越来越多的企业都采用了分库分表的Mysql存储方式，用以解决以下三类问题：1、数据库存储的成本，Mysql免费开源；2、通过增加机器即可扩展系统的存储空间；3、通过增加机器解决单机存在的CPU、磁盘和内存的瓶颈。但是随之而来又出现了新的问题：由于数据通过分库分表的形式，打散的存储在多个数据库机器上，因此会出现两个棘手的问题，一是如何从传统的数据库服务器中将所有的数据迁移至新的多个分库分表中；二是后续数据继续增长，对已有的分库，再次进行扩充，也会涉及到数据迁移的问题。

现有的数据库迁移方案为采用定时任务调度的方式，从原有的数据库中查询一定量的数据，启动单一调度任务，逐个的将各个业务条线的数据插入至新的分库分表中，然后人为的校验数据准确性，验证无误后，再将历史库中的数据进行清理删除。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

在迁移过程中，任一数据迁移失败，调度任务需要立即停止，并且，调度任务所在的服务器发生任何异常，都会导致整个迁移过程中断，效率低下；

没有完全利用新的分库分表的插入数据的吞吐量明显提升的优点，迁移过程漫长；

需要人为校验数据准确性，在数据校验不通过时需要人为手工补充数据，在数据校验通过之后也需要人为启动清理删除历史数据的过程，耗时耗力；

发明内容

有鉴于此，本发明实施例提供一种数据迁移方法和装置，避免出现单一数据异常而无法继续迁移、以及单一机器宕机而使迁移任务中断的情况，实现了迁移服务的高可用运行，提高数据迁移效率，可扩展性强，充分利用了分库后的高吞吐性能，克服了迁移过程漫长的缺陷，实现迁移数据的校验、清理自动化，且对未成功迁移的数据，可自动重试。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据迁移方法。

一种数据迁移方法，包括：步骤一，通过与每个业务对应的数据调度任务，将相应业务的数据从原数据库发送到消息服务器集群；步骤二，通过所述消息服务器集群将各业务的数据迁移到对应的数据库分库。

可选地，所述步骤一包括：通过按照预设的任务分配规则分配的与每个业务对应的数据调度任务，将每个业务的存于原数据库各存储表中的数据发送到与相应存储表对应的消息服务器集群；所述步骤二包括：通过与各存储表对应的消息服务器集群，将各业务的存于各存储表中的数据迁移到与所述各业务对应的数据库分库。

可选地，所述步骤一之前，包括：设置每个业务的数据迁移状态信息，所述数据迁移状态信息包括总数据迁移状态信息和分别与存储相应业务的数据的各存储表相对应的子数据迁移状态信息；所述步骤二还包括：对于每个业务，当该业务在一存储表中的数据被迁移完毕后，更新该业务的与该存储表相对应的子数据迁移状态信息，以及，当该业务在各存储表中的数据全部被迁移完毕后，更新该业务的总数据迁移状态信息。