[发明专利]数据迁移方法及装置

摘要

本发明公开了一种数据迁移方法及装置，属于数据库领域。所述方法包括：获取源数据表中待迁移的目标数据的数据描述信息；创建与关系型数据库之间的M个数据连接以及N个数据处理任务；将该数据描述信息进行分批和分片的划分，得到多批描述信息；从多批描述信息中选择出一批描述信息，对选择出的一批描述信息执行如下处理，直至处理完多批描述信息为止：通过M个数据连接并行地从源数据表中依次获取与选择出的一批描述信息包括的多个分片描述信息对应的多个分片数据，并通过N个数据处理任务对多个分片数据并行进行处理，将处理后的多个分片数据加载至目标数据表中，如此，可以提高数据库的数据迁移效率，避免了对数据迁移装置的处理性能的影响。

主权项

1.一种数据迁移方法，其特征在于，应用于数据迁移装置，所述方法包括：/n获取源数据表中待迁移的目标数据的数据描述信息，以及所述源数据表与目标数据表之间的映射关系，所述源数据表是指关系型数据库中的任一数据表，所述目标数据表是指分布式数据库中所述目标数据待迁移至的一个数据表；/n创建所述数据迁移装置与所述关系型数据库之间的M个数据连接，并创建N个数据处理任务，所述M大于或等于所述N且小于或等于所述关系型数据库允许的数据连接数，所述N为所述分布式数据库的内核数量；/n按照预设分批策略和预设分片策略，将所述数据描述信息进行分批和分片的划分，以得到多批描述信息，每批描述信息中包括多个分片描述信息；/n从所述多批描述信息中选择出一批描述信息，对于选择出的一批描述信息执行如下处理，直至处理完所述多批描述信息中的每批描述信息为止：/n通过所述M个数据连接并行地从所述源数据表中依次获取与所述选择出的一批描述信息包括的多个分片描述信息一一对应的多个分片数据，并根据所述映射关系，通过所述N个数据处理任务对所述多个分片数据并行进行处理，将处理后的所述多个分片数据加载至所述目标数据表中。/n