[发明专利]云存储系统间海量数据迭代迁移方法、设备及存储介质

权利要求书

1.一种云存储系统间海量数据的迭代迁移方法，涉及源云存储系统、目标云存储系统、数据库系统及临时存放单元，其特征在于，所述方法包括下述步骤：

S10，数据迭代迁移：使用统一的数据传输接口将源云存储系统的海量数据迭代迁移至目标云存储系统，所述海量数据迭代迁移包括数据的迁移、更新、检查及日志记录，所述海量数据迭代迁移使用并发进程进行数据的传输；

所述步骤S10中统一的数据传输接口具体实现如下过程：

S101，根据目标云存储系统发送的获取数据元信息请求，从数据库系统中获取源云存储系统所有数据的数据元信息，并对数据ID进行区间划分并编号，所述数据库系统存储有源云存储系统所有数据的数据元信息；

S102，按递增顺序从数据库系统中查询并获取所述数据ID的区间中的一条数据元信息记录，根据该条数据元信息记录中的文件路径于源云存储系统中下载该数据至临时存放单元，并将下载完成的数据与该数据元信息进行匹配校对，记录校对结果；

S103，将步骤S102中临时存放单元下载的该数据根据文件路径上传到目标云存储系统中，并对上传完成的数据与步骤S101中获取的该数据元信息进行匹配校对，记录校对结果；

重复执行步骤S102～S103过程，直到所有数据ID都遍历结束；

S20，数据校验：在源云存储系统和目标云存储系统间海量数据迭代迁移完成后，使用数据校验接口对源云存储系统和目标云存储系统间已迁移数据以及未迁移数据进行数据一致性检查与记录；

S30，数据统计输出：根据步骤S20的检查记录，使用数据统计输出接口统计出源云存储系统和目标云存储系统间海量数据迭代迁移的迁移结果，并对统计结果进行输出展示。

2.根据权利要求1所述的方法，其特征在于，所述步骤S102与步骤S103之间还包括：

判断从源云存储系统下载至临时存放单位的数据所形成的文件大小是否为大文件，如果是大文件则采用大文件分片方式根据文件路径上传到目标云存储系统中。

3.根据权利要求1所述的方法，其特征在于，所述步骤S20中的数据校验接口具体实现如下过程：

S201，从数据库系统中的数据元信息中获取源云存储系统所有数据的文件路径，并对数据ID进行区间划分并编号；

S202，按递增顺序从所述数据ID的区间中取出的一条数据的文件路径，向源云存储系统发送请求来检查源云存储系统是否存在该文件路径对应的数据，并把请求结果的状态信息进行编号，记录在日志中；

S203，根据步骤S202中获取的文件路径，向目标云存储系统发送请求来检查目标云存储系统是否存在该文件路径对应的数据，并把请求结果的状态信息进行编号，记录在日志中；

S204，根据步骤S202中获取的文件路径，向源云存储系统发送请求来检查该文件路径对应的数据所形成的文件是否为大文件，并把检查结果的状态信息进行编号，记录在日志中；

S205，根据步骤S202中获取的文件路径，检查源云存储系统和目标云存储系统中的该文件路径对应的数据是否一致，并把检查结果的状态信息进行编号，记录在日志中；

S206，根据步骤S202中获取的文件路径，检查目标云存储系统和数据库系统中的该文件路径对应的数据是否一致，并把检查结果的状态信息进行编号，记录在日志中；

S207，根据步骤S202中获取的文件路径，检查源云存储系统和目标云存储系统中的该文件路径对应的数据是否为空，并把检查结果的状态信息进行编号，记录在日志中；

重复执行步骤S202～S207过程，直到所有数据ID都遍历结束。

4.根据权利要求1所述的方法，其特征在于，所述步骤S30中的数据统计输出接口具体实现如下过程：

S301，读取数据迁移和数据更新产生的所有的日志记录，并输入所有日志记录的文件路径；

S302，调用统计控制命令来初始化及格式化日志记录统计的输出；

S303，分段获取日志记录并执行统计控制；

S304，检查数据迁移的统计结果，过滤掉不必要的统计结果，格式化日志记录的统计结果后输出。