[发明专利]数据迁移方法、系统、计算设备及存储介质

权利要求书

1.一种数据迁移方法，包括：

配置中心创建任务配置，对所述任务配置进行初始化生成初始化数据，并创建迁移任务，将所述初始化数据和所述迁移任务的迁移任务详情同步至监控中心；

所述监控中心将接收到的所述初始化数据和所述迁移任务详情记录至监控数据表中；

执行所述迁移任务，将所述迁移任务对应的目标数据从源数据库迁移到目标数据库，并实时将所述迁移任务的执行进度通知所述监控中心，以供所述监控中心对所述监控数据表进行更新；

所述监控中心根据所述监控数据表确定所述迁移任务的执行结果，并通过布隆过滤器进行迁移数据的完整性校验。

2.根据权利要求1所述的方法，其中，所述迁移任务详情至少包含以下数据中的一项或多项：

任务ID、所述迁移任务对应的数据库名称、所述迁移任务对应的数据库表名称、所述迁移任务对应的数据范围、任务状态、任务时间戳和已经迁移的数据量；其中，所述任务状态包括初始化状态、进行中状态以及结束状态；所述任务时间戳用于记录最新完成迁移的源数据的时间戳。

3.根据权利要求2所述的方法，其中，所述执行所述迁移任务，将所述迁移任务对应的目标数据从源数据库迁移到目标数据库，并实时将所述迁移任务的执行进度通知所述监控中心，以供所述监控中心对所述监控数据表进行更新进一步包括：

针对任一迁移任务，依据该迁移任务的迁移任务详情中的数据范围，按照源数据更新时间的升序顺序，从所述源数据库中获取源数据，利用数据转换过滤器将所述源数据的字段映射至所述目标数据库中的目标数据表中，并将所述源数据的主键ID存储至该迁移任务对应的布隆过滤器中，以供通过布隆过滤器进行迁移数据的完整性校验；

将所述源数据的时间戳发送至所述监控中心，以供所述监控中心利用所述源数据的时间戳对所述监控数据表中该迁移任务对应的任务时间戳进行更新；

当所述数据范围内的源数据都完成迁移后，将任务结束通知发送至所述监控中心，以供所述监控中心将所述监控数据表中该迁移任务的任务状态更新为结束状态。

4.根据权利要求1所述的方法，其中，所述监控数据表记录有各个迁移任务的任务状态、各个迁移任务对应的任务时间戳、各个迁移任务对应的目标数据时间戳、各个迁移任务已经迁移的数据量以及各个迁移任务对应的目标数据量；

所述监控中心根据所述监控数据表确定所述迁移任务的执行结果，并通过布隆过滤器进行迁移数据的完整性校验进一步包括：

所述监控中心每隔预设时间间隔扫描所述监控数据表中各个迁移任务的任务状态；

当任一迁移任务的任务状态为结束状态时，判断所述监控数据表中的该迁移任务对应的任务时间戳是否小于该迁移任务对应的目标数据时间戳；

若所述任务时间戳小于所述目标数据时间戳，则确定该迁移任务的执行结果为未完成结果，并启动新的任务对所述源数据库中时间戳大于所述任务时间戳且小于或等于所述目标数据时间戳的增量数据进行迁移；

若所述任务时间戳等于所述目标数据时间戳，则判断所述监控数据表中该迁移任务已经迁移的数据量是否等于该迁移任务对应的目标数据量；

若所述已经迁移的数据量不等于所述目标数据量，则通过布隆过滤器进行迁移数据的完整性校验，确定遗漏数据，并启动新的任务对所述遗漏数据进行迁移。

5.根据权利要求1所述的方法，其中，所述通过布隆过滤器进行迁移数据的完整性校验进一步包括：

在所述布隆过滤器中设置多个哈希函数以及用于存储哈希值的数组；

利用所述多个哈希函数对所述布隆过滤器中存储的所述迁移任务中已经完成迁移的源数据的主键ID进行映射处理，得到所述数组的数组值；

根据所述数组的数组值，确定校验结果。

6.根据权利要求1-5任一项所述的方法，其中，所述方法还包括：

利用监控程序监控所述源数据库中的源数据的数据变更情况，当所述源数据库中的源数据存在数据变更时，通过所述监控程序获取数据变更事件和数据详情生成源数据变更通知，并将所述源数据变更通知发送至所述监控中心；

所述监控中心根据所述源数据变更通知，更新所述监控数据表中对应的迁移任务对应的目标数据时间戳。