[发明专利]一种HBase表的Region合并方法和装置有效
申请号: | 201810241805.3 | 申请日: | 2018-03-22 |
公开(公告)号: | CN108563698B | 公开(公告)日: | 2021-11-23 |
发明(设计)人: | 王亚雄;周继恩;王颖卓 | 申请(专利权)人: | 中国银联股份有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/16;G06F16/17 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 黄志华 |
地址: | 200135 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 hbase region 合并 方法 装置 | ||
1.一种分布式文件系统HBase表的Region合并方法,其特征在于,包括:
获取HBase表的多个Region中的每个Region对应的HDFS文件的属性信息,一个Region对应的HDFS文件的属性信息包括所述Region对应的文件所占用的存储空间;
剔除重复的Region;
至少根据所述多个Region中每个Region对应的文件所占用的存储空间,对所述多个Region中的每相邻两个Region进行合并处理。
2.如权利要求1所述的方法,其特征在于,所述至少根据所述多个Region中每个Region对应的文件所占用的存储空间,对所述多个Region中的每相邻两个Region进行合并处理,包括:
针对第一Region和第二Region,确定所述第一Region和所述第二所述Region的对应的文件所占用的存储空间的和;所述第一Region和所述第二Region是所述多个Region中任两个相邻的Region;
根据所述文件所占用的存储空间的和以及存储空间阈值,确定所述第一Region和所述第二Region对应的第一评分;
至少根据所述第一评分确定所述第一Region和所述第二Region对应的总评分;
若所述总评分满足预设值,则对所述第一Region和所述第二Region进行合并处理。
3.如权利要求2所述的方法,其特征在于,所述一个Region对应的HDFS文件的属性信息还包括:所述Region对应的文件数量;
确定所述第一Region和所述第二所述Region的对应的文件数量的和;
根据所述文件数量的和以及文件数量阈值,确定所述第一Region和所述第二Region对应的第二评分;
所述至少根据所述第一评分确定所述第一Region和所述第二Region对应的总评分,包括:
至少根据所述第一评分和所述第二评分确定所述第一Region和所述第二Region对应的总评分。
4.如权利要求3所述的方法,其特征在于,所述一个Region对应的HDFS文件的属性信息还包括:是否包含.tmp目录;
根据所述第一Region和所述第二所述Region的对应的文件中是否包含.tmp格式文件的指示信息,确定所述第一Region和所述第二Region对应的第三评分;
所述至少根据所述第一评分确定所述第一Region和所述第二Region对应的总评分,包括:
至少根据所述第一评分、所述第二评分和所述第三评分确定所述第一Region和所述第二Region对应的总评分。
5.一种分布式文件系统HBase表的Region合并装置,其特征在于,包括:
获取单元,用于获取HBase表的多个Region中的每个Region对应的HDFS文件的属性信息,一个Region对应的HDFS文件的属性信息包括所述Region对应的文件所占用的存储空间;
处理单元,用于剔除重复的Region,并至少根据所述多个Region中每个Region对应的文件所占用的存储空间,对所述多个Region中的每相邻两个Region进行合并处理。
6.如权利要求5所述的装置,其特征在于,还包括确定单元,用于:
针对第一Region和第二Region,确定所述第一Region和所述第二所述Region的对应的文件所占用的存储空间的和;所述第一Region和所述第二Region是所述多个Region中任两个相邻的Region;根据所述文件所占用的存储空间的和以及存储空间阈值,确定所述第一Region和所述第二Region对应的第一评分;
所述处理单元,用于:
至少根据所述第一评分确定所述第一Region和所述第二Region对应的总评分;若所述总评分满足预设值,则对所述第一Region和所述第二Region进行合并处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国银联股份有限公司,未经中国银联股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810241805.3/1.html,转载请声明来源钻瓜专利网。