[发明专利]一种数据恢复和迁移的方法和装置

说明书

本发明提供一种数据恢复和迁移的方法和装置。所述方法包括：配置步骤，配置数据恢复和迁移任务，对与所述任务相关联的参数加以设置；读数据步骤，根据所述参数，按照批次依次读取历史数据，为每批读取的历史数据单独生成一个数据文件并加以缓冲存储，并且将每个数据文件的数据范围和读数据标记存入Redis；以及写数据步骤，根据所述参数，从Redis中获取每批要恢复的数据范围以及读数据标记，如果读数据标记为失败，则终止，否则根据所述数据范围按照批次依次将缓冲存储的历史数据恢复到源数据库或迁移到目标数据库，并且将每个数据文件的数据范围和写数据标记存入Redis。

技术领域

本发明涉及计算机技术及软件领域，尤其涉及一种数据恢复和迁移的方法和装置。

背景技术

随着访问量的增长，线上数据量增长速度越来越快，运营人员需要定期地将关闭状态的业务数据结转到历史库或云存储，结转后的数据称为历史数据。而历史数据并非永久封存，可以说它后续的生存意义更为重大，比如做数据分析、恢复到性能测试环境用来做压测等。另外，针对大数据分析或线下测试，需要将关闭状态的业务数据迁移到大数据平台或测试数据库。因此，就需要一种对历史数据做恢复或迁移的方法和装置。

当前要将数据恢复到源数据库或迁移到其他作用的数据库，有如下几种方式：

1)如果数据结转到了云存储，则可以按照当时生成的外链下载数据文件，转为SQL脚本，挑选出待恢复或迁移的数据，找到数据库管理员，或提交到相关平台，再由数据库管理员处理。

2)如果结转到某历史库，则需要找数据库管理员或通过平台提交提数申请，然后在将取到的数据文件通过数据库管理员或某些平台导入到目标数据库。

因此现有技术中的数据恢复或迁移存在如下的缺点：

1)对正常生产库影响较大，操作起来不方便；

2)效率低，迁移数据时间较长；

3)需要数据库管理员密切配合，沟通成本较高；

4)出现问题后处理成本高。中断后想在中断点续接比较麻烦，需要人工过多干预，人力成本高。

如下列出与本发明相关联的一些术语：

历史库：保存结转数据的数据库，为一种关系型数据库；

源数据库：线上生成使用的数据库；

LevelDB：一种非常高效的K-V数据库；

JDBC(Java Data Base Connectivity，Java数据库连接)：一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成；

Redis：一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。

发明内容

有鉴于此，本发明提供一种数据恢复和迁移的方法和装置，将结转后的数据恢复到线上源数据库或迁移到其他目的数据库。将历史数据灵活的恢复到源生产库、灵活的迁移到目标库。利用Redis缓存保证数据安全续接并且利用LevelDB高速读写提高效率。根据本发明的数据恢复和迁移效率高，操作简便灵活，不影响正常生产，并且出现问题或中断时可以轻松续接提高了安全和可靠性。同时，也节省了人力成本。

为实现上述目的，根据本发明的一个方面，提供了一种数据恢复和迁移的方法。