[发明专利]迁徙数据的方法、装置、计算机设备及存储介质

说明书

本申请揭示了迁徙数据的方法、装置、计算机设备及存储介质，其中，迁徙数据的方法，包括：获取源数据库的业务属性，其中，源数据库为存放待迁徙数据的数据库，源数据库包括第一索引表；根据第一索引表的分区以及业务属性，按照预设划分方式将源数据库的数据划分成指定数量的分片数据；获取各分片数据分别与目标数据库中的数据结构的对应关系；根据对应关系，将各分片数据按照预设迁徙方式从源数据库迁徙至目标数据库。通过分片数据转移方式，实现不同数据库类型的数据库之间的数据转移，比如从关系型数据库到非关系型数据库，且根据数据结构的映射关系，实现两个数据库中存储数据的对应关系。

技术领域

本申请涉及到计算机领域，特别是涉及到迁徙数据的方法、装置、计算机设备及存储介质。

背景技术

由于系统内调用数据量的剧增，原来的关系型数据库在读写效率、存储软硬件成本上已经很难满足业务需求了，所以选用了新型的非关系数据库，这需要对两种数据库进行数据切换。但是生产上必须保证有效数据无丢失、平台用户无感知。业内更多的是同类型数据库之间的数据迁徙，没有数据结构差异化较大的数据库之间的数据迁徙方案，比如从oracle数据库到cassandra数据库。从oracle到cassandra的数据迁徙需要一次性连续完成，则导致迁徙的新旧系统在很长一段时间内有大量的网络IO，会对系统的正常业务造成干扰。若单纯采用少量数据的分片迁徙，即不携带数据的业务属性，而是简单的进行数据的等量迁徙，则没有考虑到数据对业务的不同重要程度，也没有考虑到新旧数据库的格式差异，会造成大量的新库数据的被随机写，旧库的数据被随机读，对迁徙数据的性能有很大影响。需要设计安全稳定的数据源切换方案，以满足一次性连续完成数据迁徙，操作上具有事务性、时间上具有连续性，且不对系统的正常业务造成干扰，且需避免数据迁徙过程中的事务性操作因为中途某项较小的失败，而导致全局的失败。

发明内容

本申请的主要目的为提供迁徙数据的方法，旨在解决现有无法实现从oracle数据库到cassandra数据库的数据稳定迁徙的技术问题。

本申请提出一种迁徙数据的方法，包括：

获取源数据库的业务属性，其中，所述源数据库为存放待迁徙数据的数据库，所述源数据库包括第一索引表；

根据所述第一索引表的分区以及所述源数据库的业务属性，按照预设划分方式将所述源数据库的数据划分成指定数量的分片数据；

获取各所述分片数据分别与目标数据库中的数据结构的对应关系，其中，所述目标数据库为存放迁徙后的所述迁徙数据的数据库；

根据所述对应关系，将各所述分片数据按照预设迁徙方式从所述源数据库迁徙至所述目标数据库。

优选地，所述根据所述第一索引表的分区以及所述源数据库的业务属性，按照预设划分方式将所述源数据库的数据划分成指定数量的分片数据的步骤，包括：

获取所有所述源数据库的业务属性分别对应的优先级排序，其中，所述优先级排序为优先级级别从高到低的排序；

从所述优先级排序中选择指定序号前的第一业务属性对应的分区，作为所述第一索引表的数据划分标准，其中，所述第一业务属性包含于所有所述源数据库的业务属性中，所述第一业务属性包括索引项属性；

根据所述第一索引表的数据划分标准，将所述第一索引表划分为各分区分别对应的分索引；

判断各所述分索引分别对应的所述源数据库的数据量是否在预设单次传输量之内；

若是，则根据各所述分索引将所述源数据库的数据划分成第一指定数量的第一分片数据，其中，所述第一指定数量为所述第一业务属性对应的各分区的数量。

优选地，所述判断各所述分索引分别对应的所述源数据库的数据量是否在预设单次传输量之内的步骤之后，包括：