[发明专利]数据迁移方法、装置、计算机设备和存储介质

说明书

本发明涉及一种数据迁移方法方法、装置、计算机设备和存储介质，该方法包括：根据目标业务确定数据迁出端的目标数据；确定目标数据迁出数据迁出端的数据分布状态；基于决策树模型，根据数据分布状态确定目标数据的时间分片策略；按照时间分片策略对目标数据的迁出时间进行分片，获得多个时间分片；根据数据迁出端和数据迁入端确定数据迁移过程中的数据流向，根据数据流向依次将各个时间分片对应的目标数据迁移至数据迁入端。上述方法可以高效快速且完整无缺的将数据进行完成迁移。

技术领域

本发明涉及数据处理技术领域，特别是涉及数据迁移方法、装置、计算机设备和存储介质。

背景技术

在数据库表的应用过程中，随着记录的数据不断增多，一方面可能使得数据查询速度变慢，另一方面可能造成空间不足，无法存储新数据，所以需要对数据库表中的数据进行迁移。

现有的数据迁移方法有存储迁移和程序迁移，存储迁移是在存储过程中将要迁移的数据写成SQL(Structured Query Language，结构化查询语言)语句，由数据库直接执行以进行数据迁移；程序迁移是通过编写代码的形式组装SQL语句，最终由数据库执行以进行数据迁移。

然而，存储迁移和程序迁移过程中，数据迁移方式固定后，SQL语句便成为固定语句，这样，当需要新增数据迁移方式，或者对已知的迁移表进行更改时，都需要重新编写SQL语句，扩展性差，数据迁移效率低。

综上所述，如何提高数据迁移效率是目前本领域技术人员亟待解决的问题。

发明内容

本申请提供了一种数据迁移方法、装置、计算机设备和存储介质。

第一方面提供了一种数据迁移方法，所述方法包括：

根据目标业务确定数据迁出端的目标数据；

确定所述目标数据迁出所述数据迁出端的数据分布状态；

将各候选时间分片以及该获选时间分片中目标数据的数据密度输入决策树模型的根节点；在每个非根节点，将经过当前非根节点的母节点的条件计算后分类到当前非根节点的候选时间分片进行条件计算，从候选时间分片中筛选出满足预设条件的正式时间分片；

按照所述时间分片策略对所述目标数据的迁出时间进行分片，获得多个时间分片；

根据数据迁出端和数据迁入端确定数据迁移过程中的数据流向，根据所述数据流向依次将各个时间分片对应的目标数据迁移至数据迁入端。

在一些实施例中，所述确定所述目标数据迁出所述数据迁出端的数据分布状态，包括：

根据所述目标业务确定所述目标数据迁出所述数据迁出端的时间轴；

根据所时间轴确定对所述目标数据的迁出时间进行分片的多个候选时间粒度；

分别按照各候选时间粒度划分所述目标数据的迁出时间，得到多个候选时间分片；

统计各候选时间分片中目标数据的数据密度，得到所述数据分布状态。

在一些实施例中，所述决策树模型中的每个所述非根节点对应一个候选时间粒度的筛选条件，所述筛选条件为候选时间分片中目标数据的数据密度不大于预设阈值。

在一些实施例中，所述根据所述数据流向依次将各个时间分片对应的目标数据迁移至数据迁入端，包括：

对每个时间分片的目标数据基于定时器进行计时统计，在所述定时器计时期间检测到所述时间分片时，判断每个所述数据迁移任务在所述定时器到达预设计时时长时完成迁移的数据量是否等于相应的目标数据量。

当完成迁移的数据量等于相应的目标数据量时，停止执行相应的数据迁移任务；