[发明专利]数据迁移方法和装置、电子设备、存储介质

说明书

本申请实施例提供的数据迁移方法和装置、电子设备、存储介质，涉及数据库技术领域。该数据迁移方法，包括：获取来自原始数据库的源数据；接收客户端发送的迁移请求信息；迁移请求信息包括源数据的数据属性参数；根据数据属性参数生成迁移策略；根据迁移策略将源数据迁移到目的数据库。本申请实施例提供的数据迁移方法提升了数据迁移的效率。

技术领域

本申请实施例涉及数据库技术领域，尤其涉及一种数据迁移方法和装置、电子设备、存储介质。

背景技术

信息业务的发展带来了数据量的与日俱增，数据库在信息系统中承担着不可或缺的数据桥梁作用。例如，分布式数据库是用计算机网络将物理上分散的多个数据库单元连接起来组成的一个逻辑上统一的数据库，有着存储量大、业务并发量高、可扩展性好的特点，故其应用日益广泛。在分布式数据库的应用场景中，数据的跨数据库迁移是常见操作，这对可靠的数据迁移技术提出了更高的要求。

当前的数据迁移方法主要采取的迁移方式是简单多线程迁移，将原始数据库的数据库按照表或者文件策略进行多线程数据迁移，不同源表或文件的数据不均匀导致整体迁移时间较长，迁移效率较低。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本申请实施例提供一种数据迁移方法和装置、电子设备、存储介质，能够有效提高数据迁移的效率。

第一方面，本申请实施例提供一种数据迁移方法，应用于迁移端，所述方法包括：

获取来自原始数据库的源数据；

接收客户端发送的迁移请求信息；所述迁移请求信息包括所述源数据的数据属性参数；

根据所述数据属性参数生成迁移策略；

根据所述迁移策略将所述源数据迁移到目的数据库。

在一可选的实现方式中，数据属性参数包括以下的一种或多种：表数量参数、表数据量参数、行数量参数。

在一可选的实现方式中，所述迁移策略包括导出策略、导入策略；所述根据所述迁移策略将所述源数据迁移到目的数据库，包括：

根据所述导出策略将所述源数据转化为中间文件；

根据所述导入策略将所述中间文件迁移到所述目的数据库。

在一可选的实现方式中，所述导出策略包括导出进线程策略；所述根据所述导出策略将所述源数据转化为中间文件，包括：

根据所述数据属性参数配置导出进程数量和导出线程数量；

根据所述导出进程数量、所述导出线程数量和所述数据属性参数，将数据均匀分配到对应导出线程进行数据导出，生成所述中间文件。

在一可选的实现方式中，所述导出策略包括数据落盘策略，所述根据所述导出策略将所述源数据转化为中间文件，包括：

获取预设的文件划分规则；所述文件划分规则包括生成每一所述中间文件的数据量数或数据行数；

根据所述文件划分规则，将所述源数据对应导出为至少一个中间文件。

在一可选的实现方式中，所述导入策略包括导入进线程策略；所述根据所述导入策略将所述中间文件迁移到所述目的数据库，包括：

根据所述数据属性参数配置导入进程数量和导入线程数量；

根据所述导入进程数量、所述导入线程数量和所述数据属性参数，将数据均匀分配到对应导入线程进行数据导入，将所述中间文件迁移到所述目的数据库。

在一可选的实现方式中，所述根据所述数据属性参数生成迁移策略，包括：