[发明专利]用于电力行业的异构数据迁移方法

说明书

本申请实施例提出了用于电力行业的异构数据迁移方法，包括接收针对异构数据迁移的业务需求，对业务需求进行解析得到异构数据迁移的源数据库以及目标数据库；判定位于源数据库缓冲区内已转换数据的转换格式是否符合目标数据库的数据格式；如符合，基于已转换数据向目标数据库进行异构数据传输。通过对设置在源数据库缓冲区内的预先得到的已转换数据是否符合目标数据库格式要求进行判断，由于缓冲数据库中的已转换数据存在符合目标数据库格式的可能性，因此能够在一定程度上降低异构数据迁移所需的时长，从而提升数据迁移速度。

技术领域

本申请属于数据库管理领域，尤其涉及用于电力行业的异构数据迁移方法。

背景技术

现有的异构数据迁移工具包括如下两类：

（1）Apache Sqoop异构数据迁移工具，支持传统数据库Oracle、MySQL等与Hive间的异构迁移；

（2）Datax异构数据迁移工具，支持Oracle、MySQL HBase、Hive、HDFS等多种异构数据之间数据迁移工作。

以上两种异构数据迁移方法，只适用于单维度HBase表，且存储模式为Normal或是列名指定的迁移场景。而电力用能数据的数据源呈现多模板、多采集、多上送、多维度的特点，存储格式有动态的列名以及二级索引表、JSON、Protobuf，因此现有的异构迁移方法不能满足电力异构用能数据共享需求。

为了解决上述需求，目前采用SPARK分布式计算框架来解决异构数据迁移问题，但是由于框架结构所限，在异构数据的传输过程中很容易出现传输速度下降的问题，对后续数据处理阶段带来困扰。

发明内容

为了解决现有技术中存在的缺点和不足，本申请提出了用于电力行业的异构数据迁移方法，通过设置在源数据库缓冲区内的预先得到的已转换数据是否符合目标数据库格式要求进行判断，由于缓冲数据库中的已转换数据存在符合目标数据库格式的可能性，因此能够在一定程度上降低异构数据迁移所需的时长，从而提升数据迁移速度。

具体的，本申请实施例提出的用于电力行业的异构数据迁移方法，基于数据库分布式存储结构对电力数据进行迁移，所述方法包括：

接收针对异构数据迁移的业务需求，对业务需求进行解析得到异构数据迁移的源数据库以及目标数据库；

判定位于源数据库缓冲区内已转换数据的转换格式是否符合目标数据库的数据格式；

如符合，基于已转换数据向目标数据库进行异构数据传输。

如不符合，基于源数据库、目标数据库以及数据库分布式存储结构构建异构数据迁移所使用的映射关系，基于映射关系进行由源数据库向目标数据库的异构数据迁移；

其中，已转换数据为空闲时间段内根据历史业务需求进行异构数据迁移的数据。

可选的，所述方法还包括构建缓冲区的操作，具体包括：

基于历史业务需求解析结果构建业务需求统计表；

从业务需求统计表中选取业务需求数据量最多的源数据库、目标数据库作为模范源数据库、模范目标数据库，同时获取分别对应模范源数据库、模范目标数据库的数据类型和数据结构；

在模范源数据库内增设用于存储预转换数据的缓冲区。

可选的，所述方法还包括：

所述业务需求数据量包括历史统计中涉及进行异构数据迁移的数据总量和/或进行异构数据迁移的次数。

可选的，所述方法还包括：

在模范目标数据库内增设用于存储预转换数据的缓冲区。