[发明专利]基于消息中间件的数据迁移方法及相关设备

权利要求书

1.一种基于消息中间件的数据迁移方法，其特征在于，包括：

从源数据库抽取待迁移数据后写入消息中间件集群的第一级消息中间件，所述消息中间件集群包括级联的至少两个消息中间件；

将所述第一级消息中间件中的所述待迁移数据进行流式计算处理后传输至次级消息中间件；

根据所述次级消息中间件连接的下一级中间存储单元的类型，判断所述次级消息中间件是否存在数据异步落地要求，当存在数据异步落地要求时，通过与所述次级消息中间件连接的中间数据库将所述待迁移数据落库至目标数据库，当不存在数据异步落地要求时，通过与所述次级消息中间件连接的后续级联的消息中间件将所述待迁移数据落库至所述目标数据库，所述中间存储单元的类型包括消息中间件和中间数据库；

其中，所述根据所述次级消息中间件连接的下一级中间存储单元的类型，判断所述次级消息中间件是否存在数据异步落地要求，包括：读取所述次级消息中间件的连接配置信息，所述连接配置信息用于定义所述次级消息中间件与和其连接的下一级中间存储单元之间的连接配置，包括所述下一级中间存储单元的数据驱动配置命令、访问地址、数据端口、用户名和密码；遍历所述连接配置信息的定义文本，当存在数据驱动配置命令时，确定所述次级消息中间件连接的下一级中间存储单元的类型为中间数据库，标记所述次级消息中间件存在数据异步落地要求，当不存在数据驱动配置命令时，则确定所述次级消息中间件连接的下一级中间存储单元的类型为消息中间件，标记所述次级消息中间件不存在数据异步落地要求。

2.根据权利要求1所述的基于消息中间件的数据迁移方法，其特征在于，所述从源数据库抽取待迁移数据后写入消息中间件集群的第一级消息中间件，所述消息中间件集群包括级联的至少两个消息中间件，包括：

获取所述源数据库的访问权限和预设的数据迁移任务清单，所述数据迁移任务清单中记录所述待迁移数据；

基于所述第一级消息中间件生成用于连接所述源数据库的源端数据连接器，根据所述源数据库的访问权限建立所述源端数据连接器与所述源数据库的连接；

根据所述数据迁移任务清单，通过所述源端数据连接器从所述源数据库抽取所述待迁移数据；

将所述待迁移数据写入所述第一级消息中间件。

3.根据权利要求1所述的基于消息中间件的数据迁移方法，其特征在于，所述将所述第一级消息中间件中的所述待迁移数据进行流式计算处理后传输至次级消息中间件，包括：

建立所述第一级消息中间件与预设的流式处理引擎的连接；

从所述第一级消息中间件中提取所述待迁移数据，通过所述流式处理引擎对所述待迁移数据进行处理；

建立所述流式处理引擎和所述次级消息中间件之间的连接，将经过流式计算处理后的所述待迁移数据写入所述次级消息中间件。

4.根据权利要求1所述的基于消息中间件的数据迁移方法，其特征在于，所述当存在数据异步落地要求时，通过与所述次级消息中间件连接的中间数据库将所述待迁移数据落库至目标数据库，包括通过ETL方式将所述待迁移数据经由所述中间数据库落库于所述目标数据库，具体包括：

当存在后续级联的中间数据库时，通过ETL方式将所述待迁移数据传输给所述后续级联的中间数据库，直至通过最后一级所述中间数据库将所述待迁移数据落库于所述目标数据库；

当不存在后续级联的中间数据库时，直接通过ETL方式将所述待迁移数据经由所述中间数据库落库至所述目标数据库。

5.根据权利要求1所述的基于消息中间件的数据迁移方法，其特征在于，所述当不存在数据异步落地要求时，通过与所述次级消息中间件连接的后续级联的消息中间件将所述待迁移数据落库至所述目标数据库，包括：

当存在后续级联的消息中间件时，将所述待迁移数据进行流式计算处理后向后续级联的消息中间件逐级传递，直至通过最后一级所述消息中间件将所述待迁移数据落库于所述目标数据库；

当不存在后续级联的消息中间件时，在当前的所述消息中间件和所述目标数据库之间建立目的地端数据连接器，通过所述目的地端数据连接器将所述待迁移数据落库至所述目标数据库。