[发明专利]一种基于HBase数据库的数据批量入库的方法和装置

摘要

本发明公开一种基于HBase数据库的数据批量入库的方法和装置，该方法包括：对待入库源数据提取行键并排序，将排序后的行键按指定的分区个数进行平均分区确定出每个分区范围端值对应的行键；将每个分区范围端值对应的行键分别增加预定长度作为每个预建分区范围的端值；判断HBase数据库中是否有HBase表；如果否，创建HBase表并在HBase表中根据每个预建分区范围的端值建立分区；对待入库源数据按照HBase表中每个分区并行生成对应的HFile文件；将HFile文件批量导入HBase表。通过本发明的这种数据批量入库方法提高了HFile文件的生成速度及入库速度，从而使得HBase批量入库效率得到极大的提升。

主权项

1.一种基于HBase数据库的数据批量入库的方法，其特征在于，该方法包括：对待入库的源数据，提取行键并排序，将排序后的行键按指定的分区个数进行平均分区，确定出每个分区范围的端值对应的行键；将所述每个分区范围的端值对应的行键，分别增加预定长度后作为每个预建分区范围的端值；判断所述HBase数据库中是否存在HBase表；如果否，在HBase数据库中创建HBase表，并在所述HBase表中根据每个预建分区范围的端值建立分区；对所述待入库的源数据按照所述HBase表中建立的每个分区，并行生成对应的HFile文件；将所述生成的HFile文件批量导入所述HBase表中；如果是，从已有HBase表中提取每个已有分区范围的端值；根据所述每个预建分区范围的端值和所述已有分区范围的端值进行排序处理，得到每个新建分区范围；对所述待入库的源数据按照所述每个新建分区范围，并行生成对应的HFile文件；将所述生成的HFile文件批量导入所述已有的HBase表中；其中，所述根据所述每个预建分区范围的端值和所述已有分区范围的端值进行排序处理，得到每个新建分区范围包括：对所述每个预建分区范围的端值和所述已有分区范围的端值进行排序；由排序后的相邻的每两个端值确定出一个所述新建分区范围。