[发明专利]基于HBase的海量小文件低延时存储方法有效
| 申请号： | 201310112130.X | 申请日： | 2013-04-01 |
| 公开（公告）号： | CN103246700A | 公开（公告）日： | 2013-08-14 |
| 发明（设计）人： | 魏超;鄢小征;栾江霞 | 申请（专利权）人： | 厦门市美亚柏科信息股份有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 深圳市博锐专利事务所 44275 | 代理人： | 张明 |
| 地址： | 361000 福建省厦门*** | 国省代码： | 福建;35 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种基于HBase的海量小文件低延时存储方法，其通过在Hadoop、HBase环境下建立一种包括一个行主键及两个列族的小文件表，从而建立适合小文件存储环境，并配套包括小文件写入、小文件续写及小文件读取应用流程，进而实现海量小文件的合理存储和低延时性读写，满足实际需求。 | ||
| 搜索关键词： | 基于 hbase 海量 文件 延时 存储 方法 | ||
【主权项】：
1.一种基于HBase的海量小文件低延时存储方法，其特征在于：在Hadoop、HBase环境下建立小文件存储环境后供包括小文件写入、小文件续写及小文件读取应用的步骤；其中，建立小文件存储环境，包括，建立HBase小文件表，在HBase数据库中创建一个小文件表的步骤；所述小文件表如下，![]()
所述行主键的值为一个随机生成的唯一的字符串；所述列族i，用于对应存储小文件根据预定义的规则分为N个切片后的每个切片的长度信息及文件内容的字节流；所述列族m，用于记录本行记录的锁信息，用于在并发写入时判定行是否正在被别的线程或进程锁定；对小文件表进行预分区(分区策略采用16进制表示的字符串)的步骤；以及对小文件表开启行的布隆过滤器的步骤。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于厦门市美亚柏科信息股份有限公司，未经厦门市美亚柏科信息股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310112130.X/，转载请声明来源钻瓜专利网。
