[发明专利]快速迁移Oracle数据到MPP数据库的方法及工具

说明书

技术领域

本发明涉及OLTP和OLAP领域MPP数据库集群的用户数据迁移的技术，特别涉及快速迁移Oracle数据库的数据至MPP数据库集群的方法。

背景技术

随着信息化技术的快速发展，一个企业的用户数量、数据量均呈现爆炸式增长，在业务量提高的同时，数据库的访问量和数据量快速增长对数据库处理能力和计算强度也相应增大，数据的急剧膨胀导致一套数据库不能同时支撑企业的业务交易系统和统计分析系统，主流解决方案企业在现有在线交易系统基础上再建设一套大数据平台，市场上出现了MPP和hadoop两大阵营为基础的大数据平台。在这样一个背景下，快速准确的把企业在线交易系统数据库中的数据迁移到MPP或者hadoop系统中的需求应运而生。贴合市场需求本专利描述一种快速迁移Oracle数据到MPP数据库集群中的方法。

发明内容

本发明所要解决的技术问题是在现有技术的基础上，提出一种可以快速提取oracle数据库中的数据、并将其转换为MPP数据库能识别的数据并快速加载到MPP数据库中的方法与工具，以此为基础来支撑企业在线交易系统与大数据平台的数据交换。

本发明采取的技术方案为：一种快速迁移Oracle数据到MPP数据库的方法，包括如下步骤：

(1)获取oracle数据库相应的元数据信息，并依据元数据信息和策略模式拆分为多个可并行的子任务；

(2)并发执行步骤(1)中拆分出的子任务，进行数据抽取与转换操作；

(3)将步骤(2)数据抽取与转换操作获取的数据向MPP数据库加载。

进一步的，所述步骤(1)中，元数据信息包括表名，分区信息，表的每个block的最大、最小ROWID值。

进一步的，所述步骤(1)中子任务拆分的方法为：

(11)根据获取的元数据信息，计算得出一张表的全部数据摘要信息；

(12)根据数据摘要信息对整表的数据进行切分，切分为多个子任务的输出；

(13)每个子任务处理一个切片，全部子任务的合集为该表的完整数据。

本发明采用的迁移工具为一种快速迁移Oracle数据到MPP数据库的工具，包括元数据获取与计算模块，并行提取转换模块，数据加载模块；所述元数据获取与计算模块用于获取oracle数据库相应的元数据信息，并依据元数据信息和策略模式拆分为多个可并行的子任务；所述并行提取转换模块用于并发执行拆分出的子任务，进行数据抽取与转换操作；所述数据加载模块用于将并行提取转换模块获取的数据向MPP数据库加载。

进一步的，所述元数据获取与计算模块包括元数据信息获取单元，用于获取表名，分区信息，表的每个block的最大、最小ROWID值；还包括计算单元，用于根据获取的元数据信息，计算得出一张表的全部数据摘要信息；还包括切分单元，用于根据数据摘要信息对整表的数据进行切分，切分为多个子任务的输出。

进一步的，所述元数据获取与计算模块、并行提取转换模块、数据加载模块互为生产者消费者模式，保证高性能流水作业。

进一步的，在数据加载模块设置有策略模式单元，用于设置数据加载策略模式为高扩展性适应MPP数据库的多种加载数据模式或者数据的多样化输出模式。

本专利的优点和有益效果为：

1.性能提升，相比oracle的传统导出方法单机单表导出性能提升到400GB/h以上

2.部署灵活可选择性强，可以依赖oracle客户端，可以不依赖

3.高扩展性，可以分布式部署，性能线性提升

附图说明

图1总体部署架构图；

图2分布式快速迁移Oracle数据库数据到MPP数据库工具架构图；

图3快速导出数据原理示意图。

具体实施方式

本发明的整体部署架构如图1所示，从oracle数据库中快速抽取、转换、加载数据到MPP数据库集群中的工具可以部署为分布式模式和单机模式。

本发明迁移工具从整体上分为三大模块：元数据获取与计算模块，并行提取转换模块，数据加载模块(软件架构图如图2)。

其中元数据获取与计算模块快速抽取数据的原理如图3所示。

迁移工具的迁移流程为：

1.迁移工具启动，并获取配置信息，任务为从oracle数据中导出表数据内容并加载到mpp集群中；

2.迁移工具建立与oracle数据库的连接，由元数据获取与计算模块获取相应的元数据信息，并依据元数据信息和策略模式将本次任务拆分为多个可并行的子任务；