[发明专利]数据迁移方法、系统、设备及存储介质

说明书

本发明提供了一种数据迁移方法、系统、设备及存储介质，该数据迁移方法包括如下步骤：获取数据迁移配置表，所述迁移配置表包括各个待迁移的数据表和其对应的迁移顺位的映射关系表，所述数据表包括多个订单的订单信息；根据所述迁移配置表确定此次从业务数据库中待迁移的数据表；确定待迁移的数据表中待迁移的订单并生成迁移指令；根据所述迁移指令将待迁移的订单从业务数据库中迁移至第一数据库中；将迁移至第一数据库的数据表的各个订单的订单信息与业务数据库的数据表中对应订单的订单信息进行校验；如一订单通过校验，则从所述业务数据库的数据表中删除该订单。本发明的数据迁移方法可以有效地提高读的效率，保证了系统的高可用性。

技术领域

本发明涉及数据处理领域，具体地说，涉及一种数据迁移方法、系统、设备及存储介质。

背景技术

线上数据库A是订单处理的数据库，线上备份数据库A_Bak是在线备份的数据库，线上数据库A和线上备份数据库A_Bak分别部署在不同的服务器上。数据库A和备份数据库A_Bak都有业务访问，且数据库A后端挂了四个有业务的读库，业务上对数据库A后端的读库延迟也有要求，不能超过5秒。

具体地，线上数据库A涉及几百张数据表，存放最近3个月的数据，数据库一般为固态硬盘(SSD盘)，有插入(INSERT)、删除(DELETE)，更新(UPDATE)等操作；线上备份数据库A_Bak涉及几百张数据表，存放最近2年的数据，备份数据库A_Bak一般为SAS(SerialAttached SCSI，串行连接SCSI)盘。当有订单要处理时，订单会实时从备份数据库A_Bak还原到数据库A。

业务上要求，定期将这几百张数据表中3个月前的Order ID相关数据，数据库从A迁移到备份数据库A_Bak，不能影响线上业务，且单张订单在数据库A和备份数据库A_Bak中的不可见时长控制在1分钟左右。

常规迁移流程下，多张数据表并发处理，即涉及多少张数据表，开多少个线程。

每张数据表按单个Order ID备份，先写入备份数据库A_Bak，再从数据库A中删除，这个流程简单粗暴，对线上的业务有以下风险。

1.先写入备份数据库A_Bak，再从数据库A中删除的过程中如何保证写入和删除的是同一行数据；

2.多少张数据表，开多少个线程，容易导致数据库A后端的读库延迟超过5秒，所有压力全转移到数据库A，最终数据库A可能出现宕机的情形；

3.无法控制多张数据表的迁移进度，无法保证同一个订单号(Order ID)的数据，同时在数据库A中删除，同时在备份数据库A_Bak写入，且不可见时长小于1分钟；

4.数据表的备份有顺序要求，比如Tb1和Tb2，无法保证先备份数据表Tb2，再备份数据表Tb1。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

针对现有技术中的问题，本发明的目的在于提供了一种数据迁移方法、系统、设备及存储介质，该数据迁移方法可以有效地提高读的效率，保证了系统的高可用性。

本发明的实施例提供了一种数据迁移方法，包括以下步骤：

S100：获取数据迁移配置表，所述迁移配置表包括各个待迁移的数据表和其对应的迁移顺位的映射关系表，所述数据表包括多个订单的订单信息；

S200：根据所述迁移配置表确定此次从业务数据库中待迁移的数据表；

S300：确定待迁移的数据表中待迁移的订单并生成迁移指令；

S400：根据所述迁移指令将待迁移的订单从业务数据库中迁移至第一数据库中；