[发明专利]一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法

摘要

本发明公开了一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法，用Golden Gate从关系型数据库的在线日志文件中抽取变化的数据；将变化数据分别放到各自类别的文件中；利用MapReduce对数据进行解析与处理；对数据进行清洗、转换和过滤异常数据，并转换成适合分布式数据库HBase存储的格式；采用批量导入数据的方式将数据装载到分布式数据库HBase中；使用Tomcat服务器作为Web Server提供Web层的访问服务。本发明可以快速地将海量数据从关系型数据库抽取到大数据平台中，由于通过对数据源日志文件的分析实现对增量数据的抽取，因此本发明在抽取数据时对数据源系统的影响非常小。

主权项

一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法，其特征在于，包括以下几个步骤：(1)用结构化数据备份工具从关系型数据库在线日志或归档日志中获得增量变化数据，并将所述增量变化数据根据其数据操作类型分为以下三类数据保存在Trail格式的文本文件中：插入数据、更新数据、删除数据；(2)将所述插入数据、更新数据、删除数据分别放到各自类别的文件中，使得每种类别的文件中只有一种类型的数据，用于批量生成分布式数据库HBase的数据文件HFile；(3)利用分布式并行计算框架MapReduce对步骤(2)中的三种类型数据进行解析与处理，将HFile格式文件输出到分布式文件系统HDFS中；(4)使用Web Server提供Web层的访问服务，以Web服务作为中间通道，用于连接关系型数据库和Hadoop大数据平台。