[发明专利]数据迁移的方法和装置

说明书

本发明公开了数据迁移的方法和装置，涉及计算机技术领域。该装置的一具体实施方式包括：迁移前置模块，用于监听迁移请求信息，根据所述迁移请求信息生成迁移任务，并将迁移前置模块生成的迁移任务写入至所述迁移任务表；任务获取模块，用于扫描所述迁移任务表，获取所述迁移表中待处理的迁移任务，将所述迁移任务发送至迁移模块；迁移模块，用于根据所述迁移任务获取源账户的源数据，将所述源数据以目标账户的形式存储在目标账户下。该实施方式解决了现有技术在表结构变更或新增表代码需要重新上线发布数据迁移的工具的技术缺陷，进而达到当表结构变更时、或新增表结构时均无需修改数据迁移装置的代码的有益效果。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据迁移的方法和装置。

背景技术

数据迁移是将所需的数据从源数据库迁移到目标数据库的过程。现有技术主要采用两种方式对数据进行迁移：

方式一、将源关系数据库中的数据转换为TLV格式的数据，通过迁移实例将TLV格式文件中的数据迁移至目标数据库；

方式二、将待迁移数据存储到堆栈内存，然后根据目标数据库类型和表的字段列数量，把数据转换成匹配该目标数据库的行记录，并封装成符合ETL可用的数据对象，最后写入目标数据库。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1.采用上述第一种方式进行数据迁移对部分原有类型的数据不支持，并且无法做到高效的数据迁移。

2.采用上述第二种方式进行数据迁移需要逐表写入、不能多表并发写入、效率低，且抽取数据放在内存堆栈中，容易造成系统异常数据丢失风险。

发明内容

有鉴于此，本发明实施例提供一种数据迁移的方法和装置，能够解决现有技术在表结构变更或新增表代码需要重新上线发布数据迁移的工具的技术缺陷，进而达到当表结构变更时、新增表结构时均无需修改数据迁移装置的代码的有益效果。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据迁移的装置，包括：

迁移前置模块，用于监听迁移请求信息，根据所述迁移请求信息生成迁移任务，并将迁移前置模块生成的迁移任务写入至所述迁移任务表；

任务获取模块，用于扫描所述迁移任务表，获取所述迁移表中待处理的迁移任务，将所述迁移任务发送至迁移模块；

迁移模块，用于根据所述迁移任务获取源账户的源数据，将所述源数据以目标账户数据存储的形式存储在目标账户下。

可选地，根据所述迁移请求信息生成迁移任务，包括：

根据所述迁移请求信息，查询分布式集群统一配置的迁移表；

组装所述迁移请求信息和在所述迁移表查询到的数据，生成迁移任务；

其中，迁移请求信息，包括：源账户信息、目标账户信息、迁移请求号。

可选地，所述任务获取模块，还用于：将所述迁移任务发送至迁移工具之后，采用乐观锁将已经写入所述迁移任务表的迁移任务的状态设置为已发送。

可选地，所述迁移模块，还用于：将所述源数据以目标账户的形式存储在目标账户下之前，

分别定位所述迁移任务对应的源账户的源数据库和源数据表、目标账户的目标数据库和目标数据表；

分别计算源账户数据库和数据表信息、目标账户的数据库和数据表信息；和/或，

将源账户、目标账户的数据库连接信息保存到当前线程的变量中。

可选地，根据所述迁移任务获取源账户的源数据，将所述源数据以目标账户的形式存储在目标账户下，包括：