[发明专利]一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法

权利要求书

1.一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法，其特征在于，包括以下几个步骤：

(1)用结构化数据备份工具从关系型数据库在线日志或归档日志中获得增量变化数据，并将所述增量变化数据根据其数据操作类型分为以下三类数据保存在Trail格式的文本文件中：插入数据、更新数据、删除数据；

(2)将所述插入数据、更新数据、删除数据分别放到各自类别的文件中，使得每种类别的文件中只有一种类型的数据，用于批量生成分布式数据库HBase的数据文件HFile；

(3)利用分布式并行计算框架MapReduce对步骤(2)中的三种类型数据进行解析与处理，将HFile格式文件输出到分布式文件系统HDFS中；

(4)使用Web Server提供Web层的访问服务，以Web服务作为中间通道，用于连接关系型数据库和Hadoop大数据平台。

2.根据权利要求1所述的基于Hadoop大数据平台的低影响高效率的海量数据抽取方法，其特征在于，

步骤(3)中，利用分布式并行计算框架MapReduce对步骤(2)中的三种类型数据进行解析与处理的方法如下：

(1a)步骤(1)Trail格式的文本文件以块为单位存储在分布式文件系统HDFS中，分布在Hadoop集群的各个存储节点上；

(2a)在Map阶段启动多个Mapper任务对各个块数据进行清洗转换，并将清洗转换后的数据送入到Hadoop框架中；

(3a)将Mapper任务的计算结果按照哈希值进行排序，并根据键将同类的值合并到一个键/值对的集合中；

(4a)在Reduce阶段启动一组Reduce任务，每个Reduce任务收集一个键/值对的集合，并对该键/值对集合内的数据进行拼装，形成分布式数据库HBase内部的HFile格式文件，将所述HFile格式文件输出到HDFS分布式文件系统中。

3.根据权利要求2所述的基于Hadoop大数据平台的低影响高效率的海量数据抽取方法，其特征在于，

步骤(4a)中，利用分布式并行计算框架MapReduce生成分布式数据库HBase的HFile文件；存储在分布式文件系统HDFS中的HFile文件采用批量导入方式，将HFile数据文件一次性导入到分布式数据库HBase中。

4.根据权利要求1至3任意一项所述的基于Hadoop大数据平台的低影响高效率的海量数据抽取方法，其特征在于，

所述关系型数据库具体采用的是Oracle。

5.根据权利要求1至3任意一项所述的基于Hadoop大数据平台的低影响高效率的海量数据抽取方法，其特征在于，

所述Hadoop框架具体采用的是CDH 5.0。

6.根据权利要求4所述的基于Hadoop大数据平台的低影响高效率的海量数据抽取方法，其特征在于，

所述Hadoop框架具体采用的是CDH 5.0。