[发明专利]数据迁移方法和装置、电子设备、存储介质

权利要求书

1.一种数据迁移方法，其特征在于，包括：

获取来自原始数据库的源数据；

接收客户端发送的迁移请求信息；所述迁移请求信息包括所述源数据的数据属性参数、平台运行环境信息；所述数据属性参数包括以下的一种或多种：表数量参数、表数据量参数、行数量参数；

根据所述数据属性参数生成迁移策略；所述迁移策略包括导出策略、导入策略；所述导入策略包括导入进线程策略、数据分发策略；所述根据所述数据属性参数生成迁移策略，包括：根据所述表数量参数和所述表数据量参数进行预测处理，得到中间参数；根据所述中间参数生成所述导入进线程策略；所述预测处理包括：根据源文件的体量对生成的中间文件的规模进行预测；通过历史的配置数据来对预测模型进行训练，并利用预测模型预进行预测；

根据所述迁移策略将所述源数据迁移到目的数据库，具体包括：根据所述导出策略将所述源数据转化为中间文件；根据所述导入策略将所述中间文件迁移到所述目的数据库；

所述根据所述导出策略将所述源数据转化为中间文件，包括：根据所述平台运行环境信息生成格式转换策略；根据所述格式转换策略对所述源数据进行格式转化处理，得到目标格式数据；根据所述目标格式数据更新所述中间文件；

所述目的数据库为包括多个分区的分布式数据库；所述根据所述导入策略将所述中间文件迁移到所述目的数据库，包括：获取分发键信息；根据所述分发键信息，获取与所述分发键信息相匹配的所述中间文件；将所述中间文件迁移到所述目的数据库对应的分区；

根据所述中间文件生成迁移结果报告文件；所述迁移结果报告文件用于判断迁移是否成功，所述迁移结果报告文件还用于判断迁移出错的位置。

2.根据权利要求1所述的方法，其特征在于，所述导出策略包括导出进线程策略；所述根据所述导出策略将所述源数据转化为中间文件，包括：

根据所述数据属性参数配置导出进程数量和导出线程数量；

根据所述导出进程数量、所述导出线程数量和所述数据属性参数，将数据均匀分配到对应导出线程进行数据导出，生成所述中间文件。

3.根据权利要求1所述的方法，其特征在于，所述导出策略包括数据落盘策略，所述根据所述导出策略将所述源数据转化为中间文件，包括：

获取预设的文件划分规则；所述文件划分规则包括生成每一所述中间文件的数据量数或数据行数；

根据所述文件划分规则，将所述源数据对应导出为至少一个中间文件。

4.根据权利要求1所述的方法，其特征在于，所述导入策略包括导入进线程策略；所述根据所述导入策略将所述中间文件迁移到所述目的数据库，包括：

根据所述数据属性参数配置导入进程数量和导入线程数量；

根据所述导入进程数量、所述导入线程数量和所述数据属性参数，将数据均匀分配到对应导入线程进行数据导入，将所述中间文件迁移到所述目的数据库。

5.根据权利要求1所述的方法，其特征在于，所述中间文件包括基础数据和业务数据，所述获取分发键信息，还包括：

获取所述基础数据的优先级；

根据所述优先级对所述基础数据进行排序处理，得到排序结果；

根据所述排序结果进行关键字段查询匹配处理，得到与所述业务数据关联的所述基础数据；

获取与所述业务数据关联的所述基础数据对应的所述分发键。

6.根据权利要求5所述的方法，其特征在于，所述分发键信息至少包括以下任一种：连续区间分发键、枚举值分发键、分区分发键。

7.根据权利要求1所述的方法，其特征在于，所述迁移请求信息还包括数据筛选信息，所述根据所述数据属性参数生成迁移策略，包括：

根据所述源数据、所述数据筛选信息进行数据源筛选处理，得到目标数据；

根据所述目标数据的所述数据属性参数生成所述迁移策略；

对应的，所述根据所述迁移策略将所述源数据迁移到目的数据库，包括：

根据所述迁移策略将所述目标数据迁移到所述目的数据库。