[发明专利]一种数据处理方法和装置

说明书

本发明公开了一种数据处理方法和装置，其中，一种数据处理方法包括：根据收到的备份指令，获取预先配置的备份策略；根据所述备份策略将数据存储到至少一个存储节点。另一种数据处理方法包括：根据收到的恢复指令，获取预先配置的恢复策略；根据预先配置的恢复策略进行数据的恢复。

技术领域

本发明涉及通信技术，尤其涉及一种数据处理方法和装置。

背景技术

移动业务运营支撑系统（Business&Operation Support System，BOSS）的帐详单系统已建成多年，承担着原始话单批价处理、账单生成、账详单查询等基础功能，并为统计分析、收入保障提供数据来源。随着用户量和业务量日益增长，现有帐详单系统在前台查询性能、后台运维管理等方面逐渐达到瓶颈，难以满足业务发展需要。

针对帐详单的海量数据引起的存储空间小、查询性能差、统计分析瓶颈、文件库修改困难等问题，目前引入基于列模式、适合于海量数据存储的Hadoop分布式数据库（HadoopDatabase，HBase）以及旨在为数据仓库和大规模分析处理功能提供技术支持的分析型数据库Greenplum，以此来全面提升系统架构，得到新的云计算架构。

在新的云计算架构以下，数据同样需要备份和恢复处理。在BOSS帐详单系统的云方案中分布式数据库Hbase存储着海量的详单数据，现有的基本可行的基于Hbase的数据处理技术包括：利用Hbase的导出（Export）工具进行数据的备份，利用导入（Import）工具进行数据的恢复。

数据处理的步骤，如图1所示，包括：

1、备份数据时，利用Export工具将Hbase中的指定范围的数据，以表为粒度导出成Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）中的文件；

2、将HDFS中的文件备份到远端的备份存储中进行保存；

3、数据恢复时，先从远端备份存储中将数据恢复到HDFS中；

4、利用Import工具将HDFS中的文件加载到Hbase中。

虽然现有技术可以进行数据的备份和恢复处理。但是，当每天新的数据量很大，且留有的备份时间窗口很小时，现有技术无法在很小的备份窗口及时完成备份数据，无法记录在某一个时刻用户对数据的操作历史，无法保证多表间数据在某一时刻的关联，也无法在备份出的海量数据中快速的找到要恢复的数据并进行数据的恢复，由此现有技术不能满足数据处理的需求。

发明内容

为解决现有存在的技术问题，本发明实施例提供一种数据处理方法和装置。

本发明提供一种数据处理方法，所述方法包括：

根据收到的备份指令，获取预先配置的备份策略；

根据所述备份策略将数据存储到至少一个存储节点。

本发明提供一种数据处理方法，所述方法包括：

根据收到的恢复指令，获取预先配置的恢复策略；

根据预先配置的恢复策略进行数据的恢复。

本发明提供另一种数据处理装置，所述装置包括：

第一获取单元，用于根据收到的备份指令，获取预先配置的备份策略；

第一控制单元，用于根据所述备份策略将数据存储到至少一个存储节点。

本发明提供另一种数据处理装置，所述装置包括：

第二获取单元，用于根据收到的恢复指令，获取预先配置的恢复策略；

第二控制单元，用于根据预先配置的恢复策略进行数据的恢复。