[发明专利]Hive海量数据导入Hbase的数据加载系统及数据加载方法

权利要求书

1.一种Hive海量数据导入Hbase的数据加载系统，包括Hive数据库和Hbase数据库，其特征在于，还包括Spark-HFile生成模块和HFile在线数据加载模块，所述Spark-HFile生成模块用于读取Hive数据库中Hive表的待加载数据，并根据Hive表字段与Hbase数据库中Hbase表的映射配置，生成Hbase表所需的底层HFile文件后，将HFile文件写入指定的HDFS目录中；所述HFile在线数据加载模块用于将Spark-HFile生成模块指定HDFS目录中的HFile在线加载到Hbase表中，提供业务查询服务。

2.一种Hive海量数据导入Hbase的数据加载方法，它包括如下步骤：步骤1，通过配制在大数据离线调度系统上的Spark-HFile生成模块读取Hive表中的待加载数据，然后采用Apache Spark分布式计算引擎将Hive表中待加载数据根据Hive表字段与Hbase表的映射配置，生成Hbase表所需的底层HFile文件，并写入指定的HDFS目录；步骤2，通过配制在大数据离线调度系统上的HFile在线数据加载模块将步骤1中HDFS目录中的HFile文件在线加载到Hbase表中，提供面向用户的业务查询服务。

3.根据权利要求2所述的Hive海量数据导入Hbase的数据加载方法，其特征在于，步骤1中，HFile文件生成算法如下：S1，采用spark.sql算子读取Hive数据转为DataFrame，利用DataFrame的dtypes方法获取Hive的schema信息并转为spark的广播变量；S2，将Hive数据的DataFrame转换为弹性分布式数据集RDD，并在RDD上应用flatMap算子同时引入schema广播变量，在计算逻辑中生成HFile所需的Hbase KeyValue RDD类，对RDD进行全局排序；S3，根据配置文件中的hbase表元数据获取对应的Table类，将Table类和S2中生成的排序RDD引入HFile输出文件类型配置HFile生成任务；S4，使用S3配置的HFile生成任务将S2中生成的排序RDD写出到指定的HDFS目录下。

4.根据权利要求2或3所述的Hive海量数据导入Hbase的数据加载方法，其特征在于，步骤2中，通过hbase的LoadIncrementalHFiles组件将生成好的HFile文件在线加载到对应的Hbase表中，在线加载HFile的时候通过Hbase客户端参数hbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily设置单region、单family的HFile导入上限。

5.根据权利要求4所述的Hive海量数据导入Hbase的数据加载方法，其特征在于，所述HFile在线数据加载模块获取Hbase表的元数据后，将数据打散到不同的region中。