[发明专利]数据迁移方法、装置及计算机可读存储介质

说明书

本发明涉及大数据技术，揭露了一种数据迁移方法，包括：将数据库中的数据进行分布式存储，得到原始表，建立原始表数据更新时间记录，并在所述原始表数据发生更新时，更新所述原始表数据更新时间记录中的原始表数据更新时间；对所述原始表中的数据进行数据迁移操作，得到新表，在新表中建立新表插入数据时间记录；对新表和原始表进行数据一致性处理，对新表和原始表进行表名互换，再次对新表和原始表的进行数据一致性处理，得到表名互换之后的所述新表，完成数据迁移操作。本发明可以实现数据表数据迁移的过程中不用锁表依然可以进行数据迁移操作。此外，本发明还涉及区块链技术，所述数据库中的数据可存储于区块链中。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据迁移的方法、装置、电子设备及计算机可读存储介质。

背景技术

随着大数据的兴起，数据库得到了越来越广泛的应用，存储的数据也是越来越大，数据量膨胀的大表查询性能低效，难以维护备份，为解决大表带来的各种问题，将数据库大表改造升级为分区表是一个有效解决方案。

传统的大表改造升级方案主要有两种方式，一种是在线重定义处理，能在不影响系统的情况下双表同步最后切换处理，但是限制较多，适合处理10g以下的表，而且在高并发下会有问题。另一种是通过锁表只读，然后迁移数据到新表完成后再解锁表，后续插入的数据就会插入的新表中，这种方案可以保证新表与原始表的数据一致性，但是会导致涉及数据更新的业务暂停，所以也是有缺陷的。

发明内容

本发明提供一种数据迁移方法、装置、电子设备及计算机可读存储介质，其主要目的在于数据表数据迁移的过程中不用锁表依然可以进行数据更新的方法。

为实现上述目的，本发明提供的一种数据迁移方法，包括：

步骤A：将数据库中的数据进行分布式存储，得到原始表，建立原始表数据更新时间记录，并在所述原始表数据发生更新时，更新所述原始表数据更新时间记录中的原始表数据更新时间；

步骤B：对所述原始表中的数据进行数据迁移操作，得到新表，在新表中建立新表插入数据时间记录，并在有新的数据插入到所述新表中时，更新所述新表插入数据时间记录中的新表插入数据时间；

步骤C：比较所述新表插入数据时间和所述原始表数据更新时间；

步骤D：当所述新表插入数据时间早于所述原始表数据更新时间时，获取所述原始表中的更新数据，将所述更新数据迁移到所述新表中，并更新所述新表插入数据时间记录；

步骤E：重复上述步骤C及步骤D，直到所述新表插入数据时间不早于所述原始表数据更新时间。

步骤F：将所述新表与所述原始表的表名互换，重复上述步骤C及步骤D，直到所述新表插入数据时间不早于所述原始表数据更新时间，得到表名互换之后的所述新表。

可选地，所述数据库中的数据存储于区块链中，所述将数据库中的数据进行分布式存储，得到原始表，包括：

利用下述Hash函数对所述数据库中的数据进行分布式存储，得到原始表；

slice_id＝(w1×(hash_str(point_name)/b1)+w2×(day_time(time)/b2))

其中：slice_id为对所述数据库中的数据分配的分片号，hash_str(point_name)为所述数据库中的数据的数据名的量化函数，day_time(time)为所述数据库中的数据加入存储节点时间段的量化函数，b1为所述数据库中的数据的数据名的分散程度，b2为所述数据库中的数据的存储节点的时间段的分散程度；w1和w2为权重系数。

可选地，所述建立原始表数据更新时间记录，包括：

在原始表中建立数据创建时间的索引，根据所述索引记录原始表中最新数据创建时间为原始表数据更新时间记录。