[发明专利]一种数据处理方法和系统

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

抽取指定数据源中的数据；

将抽取的数据加载到分布式文件系统HDFS中；

根据接收的业务规则对HDFS中的数据进行转换处理，得到处理结果；

从HDFS中导出所述处理结果并加载到关系型数据库中。

2.根据权利要求1所述的方法，其特征在于，所述抽取指定数据源中数据包括：

确定所述指定数据源是否发生变化；

当所述指定数据源发生变化时，抽取所述指定数据源中发生变化的数据。

3.根据权利要求2所述的方法，其特征在于，所述确定所述指定数据源是否发生变化为：

根据标记的数据抽取截止标志判断所述指定数据源是否发生变化；

所述数据抽取截止标志为每次数据抽取后标记的。

4.根据权利要求1所述的方法，其特征在于，所述根据接收的业务规则对HDFS中的数据进行转换处理为：

使用并行大规模数据集计算框架MapRedcue根据接收的业务规则对HDFS中的数据进行转换处理。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

确定收到的业务规则的作业类型；

当所述业务规则的作业类型为Hive作业时，将所述业务规则的作业类型转换成MapReduce作业。

6.一种数据处理系统，其特征在于，所述系统包括：

抽取模块，用于抽取指定数据源中的数据；

第一加载模块，用于将抽取的数据加载到分布式文件系统HDFS中；

转换模块，用于根据接收的业务规则对HDFS中的数据进行转换处理，得到处理结果；

第二加载模块，用于从HDFS中导出所述处理结果并加载到关系型数据库中。

7.根据权利要求6所述的系统，其特征在于，所述抽取模块，具体用于确定所述指定数据源是否发生变化；

当所述指定数据源发生变化时，抽取所述指定数据源中发生变化的数据。

8.根据权利要求7所述的系统，其特征在于，所述抽取模块，具体用于根据标记的数据抽取截止标志判断所述指定数据源是否发生变化；

所述数据抽取截止标志为每次数据抽取后标记的。

9.根据权利要求6所述的系统，其特征在于，所述转换模块，具体用于使用并行大规模数据集计算框架MapRedcue根据接收的业务规则对HDFS中的数据进行转换处理。

10.根据权利要求9所述的系统，其特征在于，所述转换模块，还用于确定收到的业务规则的作业类型；

当所述业务规则的作业类型为Hive作业时，将所述业务规则的作业类型转换成MapReduce作业。