[发明专利]基于消息中间件的数据迁移方法及相关设备

说明书

本发明涉及数据处理技术领域，尤其涉及一种基于消息中间件的数据迁移方法及相关设备，所述方法包括：从源数据库抽取待迁移数据后写入消息中间件集群的第一级消息中间件；将待迁移数据进行流式计算处理后传输至次级消息中间件；根据次级消息中间件的下一级连接判断是否存在数据异步落地要求；当存在时将待迁移数据传输至与次级消息中间件连接的中间数据库，再通过ETL方式使数据落库至目标数据库；当不存在时将待迁移数据进行流式计算处理后传输至后续级联的消息中间件后，使待迁移数据落库至目标数据库。本发明通过构建中间件作为数据迁移的中间桥梁，实现数据从源数据库落库至目标数据库，具有实时性高、低延时、传输率高的优点。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于消息中间件的数据迁移方法及相关设备。

背景技术

数据迁移是数据存储技术的一种典型方式，它用于将存储于一套存储系统上的数据转移到另一套存储系统中。比如，基于数据存储设备硬件的更替要求，将数据从旧设备所在的源数据库中迁移至新设备所在的目标数据库中。一般使用中，也常用于将使用频率较低甚至不会被使用到的数据从源数据库转存至目标数据库，比如，将高速、高容量的非在线存储设备作为磁盘设备的下一级设备，然后将磁盘中常用的数据按指定的策略自动迁移到磁带库(简称带库)等二级大容量存储设备上，当需要使用这些数据时，分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上。

数据迁移一般分三个阶段实现：迁移前的准备、迁移的实施和迁移后的校验。由于数据迁移的特点，大量的工作都需要在准备阶段完成，充分而周到的准备工作是完成数据迁移的主要基础。具体而言，要进行待迁移数据源的详细说明(包括数据的存储方式、数据量、数据的时间跨度等)；建立新旧系统数据库的数据字典；对旧系统的历史数据进行质量分析，新旧系统数据结构的差异分析；新旧系统代码数据的差异分析；建立新老系统数据库表的映射关系，对无法映射字段的处理方法；开发、部属ETL工具，编写数据转换的测试计划和校验程序；制定数据转换的应急措施等工作。为实现这些数据迁移过程，传统的做法一般是从源数据库通过ETL工具将数据迁移到另一个数据库，或者先将数据迁移至一个中间数据库，再经由中间数据库将数据落库到目标数据库，依次依照此方法，最终通过多次ETL操作使数据迁移到目标数据库中。

但是，上述传统做法存在如下技术问题：

1)、延时问题造成的时间消耗成本上升，也无法确保数据的时效性，当源数据库的数据在迁移时发生了变化，则该变化可能无法对应到目标数据库；

2)、无法实现数据的高速落地，即数据迁移的速度较慢。

发明内容

本发明提供了一种基于消息中间件的数据迁移方法及相关设备，采用流式计算的方式对待迁移数据进行处理后使其经由消息中间件集群进行逐级传输，实现数据从源数据库高速精准落地至目标数据库，并且能够兼容原有的落库前的数据库连接结构布局，实现数据的异步落地，具有较好的兼容性，当数据在消息中间件中迁移时采用流式计算处理降低数据传输过程中的延时问题和传输速度。

本发明实施例的第一方面提供一种基于消息中间件的数据迁移方法，包括：从源数据库抽取待迁移数据后写入消息中间件集群的第一级消息中间件，所述消息中间件集群包括级联的至少两个消息中间件；

将所述第一级消息中间件中的所述待迁移数据进行流式计算处理后传输至次级消息中间件；

根据所述次级消息中间件连接的下一级中间存储单元的类型，判断所述次级消息中间件是否存在数据异步落地要求，当存在数据异步落地要求时，通过与所述次级消息中间件连接的中间数据库将所述待迁移数据落库至目标数据库，当不存在数据异步落地要求时，通过与所述次级消息中间件连接的后续级联的消息中间件将所述待迁移数据落库至所述目标数据库，所述中间存储单元的类型包括消息中间件和中间数据库。

在其中一些可能的实施例中，所述从源数据库抽取待迁移数据后写入消息中间件集群的第一级消息中间件，所述消息中间件集群包括级联的至少两个消息中间件，包括：