[发明专利]一种HBase表的Region合并方法和装置

说明书

本发明实施例涉及Region处理领域，尤其涉及一种HBase表的Region合并方法和装置，用以解决现有技术中Region合并效率低以及合并精确性差的问题。本发明实施例中，包括：获取HBase表的多个Region中的每个Region对应的HDFS文件的属性信息，一个Region对应的HDFS文件的属性信息包括Region对应的文件所占用的存储空间；至少根据多个Region中每个Region对应的文件所占用的存储空间，对多个Region中的每相邻两个Region进行合并处理。通过本发明实施例中基于Region对应的文件所占用的存储空间进行合并，有助于提高相邻两个Region进行合并的精度。

技术领域

本发明实施例涉及Region处理领域，尤其涉及一种HBase表的Region合并方法和装置。

背景技术

分布式文件系统(Hadoop Distributed File System，简称HBase)是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。HBase是可以提供实时计算的分布式数据库，数据被保存在HDFS分布式文件系统上。HBase将表会切分成小的数据单位叫Region，HBase中包括多个Region，每个Region中都存储一定的数据。Region被HMaster分配给多个Region Server，每个Region Server托管多个Region。

通常，HBase包括Region的数量越多，该HBase的读写性能和扩展性能就好，对应的应用性能和扩展性也越来越好。但是由于HBase实现的机制和业务数据的不均衡，随着时间的推移，HBase表中Region的数量越来越多，需要的内存越来越大，需要管理的Region也越来越多。这样，对系统的性能和稳定性造成负面的影响。为了解决这些问题，需要对Region进行合并。现有技术是手工的方式合并相邻的两个Region。具体为：登录HBase表的监控页面，管理者在监控界面中挑选相邻的两个Region，之后在HBase shell中对这个两个Region进行合并。

然而，采用现有技术的合并方式，只能通过人工的方式随机将HBase表中相邻的Region进行合并，造成Region合并效率低以及合并精确性差的问题。

发明内容

本发明实施例提供一种HBase表的Region合并方法和装置，用以解决现有技术中Region合并效率低以及合并精确性差的问题。

本发明实施例提供一种HBase表的Region合并方法，包括：获取HBase表的多个Region中的每个Region对应的HDFS文件的属性信息，一个Region对应的HDFS文件的属性信息包括所述Region对应的文件所占用的存储空间；至少根据所述多个Region中每个Region对应的文件所占用的存储空间，对所述多个Region中的每相邻两个Region进行合并处理。

由于本发明实施例中，通过获取HBase表的多个Region中的每个Region对应的HDFS文件的属性信息：所述Region对应的文件所占用的存储空间，根据所述多个Region中每个Region对应的文件所占用的存储空间，对所述多个Region中的每相邻两个Region进行合并处理。通过本发明实施例中基于Region对应的文件所占用的存储空间进行合并，有助于提高相邻两个Region进行合并的精度；进一步，是自动确定出要合并的相邻两个Region，不需要人手工操作，可提高Region合并的效率。

本发明实施例中，相邻两个Region会出现一个Region存在多个相邻两个Region中的场景；为了确保相邻两个Region中的列表在只包含唯一为Region，增加Region合并的精度，以及提高代码的稳定性。可选地，所述至少根据所述多个Region中每个Region对应的文件所占用的存储空间，对所述多个Region中的相邻两个Region进行合并处理之前，还包括：剔除重复的Region。