[发明专利]一种数据恢复和迁移的方法和装置

权利要求书

1.一种数据恢复和迁移的方法，其特征在于，包括：

配置步骤，配置数据恢复和迁移任务，对与所述任务相关联的参数加以设置；

读数据步骤，根据所述参数，按照批次依次读取历史数据，为每批读取的历史数据单独生成一个数据文件并加以缓冲存储，并且将每个数据文件的数据范围和读数据标记存入Redis；以及

写数据步骤，根据所述参数，从Redis中获取每批要恢复的数据范围以及读数据标记，如果读数据标记为失败，则终止，否则根据所述数据范围按照批次依次将缓冲存储的历史数据恢复到源数据库或迁移到目标数据库，并且将每个数据文件的数据范围和写数据标记存入Redis；

其中，在所述读数据步骤中，当读取失败或遇到其他异常时，将相应的数据文件的数据范围和读数据标记存入Redis，并终止读取，待到下次启动任务时检查为失败的读数据标记，并根据相应的数据范围继续读取。

2.根据权利要求1所述的方法，其特征在于，还包括：

在所述写数据步骤中，当写入失败或遇到其他异常时，将相应的数据文件的数据范围和写数据标记存入Redis，并终止写入，待到下次启动任务时检查为失败的写数据标记，并根据相应的数据范围继续写入。

3.根据权利要求1所述的方法，其特征在于，所述读数据步骤还包括：

如果是从云存储读取数据，则根据所述参数按照批次依次读取数据，然后将数据文件直接保存于服务端磁盘，或利用LevelDB高速写功能将数据文件写入LevelDB；如果是从历史库读取数据，则将JDBC连接到历史库的从库，根据所述参数按照批次依次读取数据，将数据组装成SQL脚本文件，暂时存入服务端磁盘，其中为每批读取的历史数据单独生成一个数据文件保存在服务端磁盘中，并且将每个数据文件的数据范围和读数据标记存入Redis。

4.根据权利要求1所述的方法，其特征在于，所述写数据步骤还包括：

根据所述参数，从Redis中获取每批要恢复的数据范围以及读数据标记，如果读数据标记为失败，则终止，否则从服务端磁盘读取数据文件或从LevelDB读取数据流，对数据文件或数据流解压并解析出插入语句，创建待插入的数据集，按照批次依次将数据恢复到源数据库或将数据迁移到指定的目标数据库，并且将每个数据文件的数据范围和写数据标记存入Redis。

5.根据权利要求1至4的任一项所述的方法，其特征在于，

所述参数包括以下各项中的至少一项：数据读写的批处理的量、云存储数据文件链接或云存储上对应的键、历史库链接。

6.一种数据恢复和迁移的装置，其特征在于，包括：

配置模块，配置数据恢复和迁移任务，对与所述任务相关联的参数加以设置；

读数据模块，根据所述参数，按照批次依次读取历史数据，为每批读取的历史数据单独生成一个数据文件并加以缓冲存储，并且将每个数据文件的数据范围和读数据标记存入Redis；以及

写数据模块，根据所述参数，从Redis中获取每批要恢复的数据范围以及读数据标记，如果读数据标记为失败，则终止，否则根据所述数据范围按照批次依次将缓冲存储的历史数据恢复到源数据库或迁移到目标数据库，并且将每个数据文件的数据范围和写数据标记存入Redis；

其中，在所述读数据模块中，当读取失败或遇到其他异常时，将相应的数据文件的数据范围和读数据标记存入Redis，并终止读取，待到下次启动任务时检查为失败的读数据标记，并根据相应的数据范围继续读取。

7.根据权利要求6所述的装置，其特征在于，还包括：

在所述写数据模块中，当写入失败或遇到其他异常时，将相应的数据文件的数据范围和写数据标记存入Redis，并终止写入，待到下次启动任务时检查为失败的写数据标记，并根据相应的数据范围继续写入。