[发明专利]一种大数据系统中数据备份方法、恢复方法和装置

说明书

技术领域

本发明涉及通信技术领域，特别涉及一种大数据系统中数据备份方法、恢复方法和装置。

背景技术

在通信系统中，数据库是数据存储和管理中心。各种数据被采集来之后，经过分类、清洗、检验和规范化处理后，源源不断地进入数据库。在系统日常运行过程中，一些阶段性的数据需要长期保存下来。例如：用户账单将作为重要凭证，具有重要用途；当月月统计报表数据作为决策参考依据，需要被保存下来。因此，这些数据的备份与恢复是一项重要的基本工作。

数据库系统分关系型数据库和非关系型数据库。关系型数据库具有严密的数学理论基础，数据库厂商通常都提供了完整的备份恢复方案。例如：Oracle数据库备份恢复技术特点是这样的：

1、数据库系统维护内部时钟，自动产生系统更改号，这个号码具有全局唯一性，被顺序分配，随数据库运行自动增长。

2、数据备份：首先获取当前系统更改号，基于此号码，系统以快照的方式，将整个数据库或者表的数据完整地保存到备份文件中，在备份期间，系统发生的变更称为增量数据，不会被写入备份文件。

3、数据恢复：打开备份文件，读取备份文件的内容，写入数据库。数据库中没有的内容，将会被创建；数据库中已经有的内容，将会被覆盖。

对于那些数据结构复杂，数据量大的情况，统称为大数据。面对这种类型数据，传统的关系型数据库系统在对大数据进行处理时显得越来越困难，于是产生了非关系型数据库，用于大数据处理。非关系型数据库大多是开源项目，目前还缺乏完善的数学理论基础，没有统一的行业标准。由于大数据的特点，这些非关系型数据库没有提供有效的数据库备份方案。

在实现本发明的过程中，发明人发现在大数据系统中数据备份和恢复，至少存在以下难题需要解决：

1、备份数据量大

大数据系统中，整体数据量往往非常庞大，且在不断扩展。如果选择整体数据备份，则需要的时间成本、存储成本都很高，所以很难满足实际需求。需要一种划分数据的方案，每次不对整体数据备份，又能实现备份的作用，保证数据的有效性。

2、数据备份恢复过程耗时长

在大数据系统中，目前还没有有效的备份恢复方法。是否可以借鉴关系型数据库的备份恢复方法呢？由于非关系型数据库往往不满足数据一致性要求，因此关系型数据库的备份恢复方法不能直接拿来使用。需要一种备份恢复方法，适用这种数据特点。如果直接使用关系型数据库的备份恢复方法，则每次备份恢复过程耗时长，正常使用的时间窗口就小，系统可用性低。

3、备份数据的价值密度低

大数据系统中，虽然整体数据量往往非常庞大，但是各个部分数据价值不一样。某些对象很重要，备份价值大；某些时刻很重要，备份价值大。如果不加区分，将所有数据各种时刻数据都备份出来，备份数据的价值密度低。重要对象在关键时刻的数据最重要，这些数据备份的价值密度最高，最需要备份。相反，不重要的对象在不重要的时刻的数据，就没必要备份了。

针对这种情况，发明人通过深入研究发现：在大数据系统中，由于数据库上面承载的是应用系统，如果结合数据库和应用系统整体来考虑备份恢复方案，则更具有实际意义。具体的来说，在通信系统中，在某些关键业务环节的重点个体的数据非常重要，需要备份。例如：在消费系统中，对于某个用户，如果存入话费，话费总额会发生变动，用户往往需要对当前账单做一个汇总，作为消费凭据。今后，随着新的消费，该账户的余额将变化。因此，用户每次缴费后就需要做一次数据备份。如果我们借鉴关系型数据库备份的方法，可以先找到涉及该账号当前资金相关的所有表，然后将表中该账号相关数据提取出来，进行备份。相对于数据库整体备份方案或者数据表整体备份方案，该方法具有消耗时间更短，备份结果集更小，操作灵活的益处。如果需要恢复数据，可以首先提取该账号在某个时刻的备份结果集，然后分别倒入对应的表。从而实现大数据系统中数据有效备份和恢复。

发明内容

本发明实施例的目的在于提供一种大数据系统中数据备份方法、恢复方法和装置，解决了现有备份方法存在备份数据的价值密度低、备份恢复过程耗时长和存储成本高的问题。

为了达到上述目的，本发明实施例提供一种大数据系统中数据备份方法，包括：

接收备份指令，所述备份指令中至少包括备份对象的标识信息；

使用所述标识信息获取所述备份对象的配置信息，所述配置信息用于确定所述备份对象的备份数据来自应用程序或者外部数据存储系统；

使用所述配置信息从所述应用程序或者所述外部数据存储系统获取所述备份数据；

将所述备份数据保存。