[发明专利]一种读写分离的HBase入库方法在审
申请号: | 201610194383.X | 申请日: | 2016-03-31 |
公开(公告)号: | CN105893521A | 公开(公告)日: | 2016-08-24 |
发明(设计)人: | 王勇强;赵智峰;周帅锋;曹俊亮;崔博;李佳宁 | 申请(专利权)人: | 南京烽火软件科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 常州佰业腾飞专利代理事务所(普通合伙) 32231 | 代理人: | 李帅 |
地址: | 210000 江苏省南*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及数据处理技术领域,尤其涉及一种读写分离的HBase入库方法,写操作时,引入WriterServer进程接收HBaseClient发送的写请求,并且将写请求转换为HFile文件存储在HDFS上,然后通过HBase提供的bulkLoad接口将HFile文件移动到HBase数据目录下。本发明通过将读写请求下发到物理隔离或资源隔离的负责读或写的进程上,避免读写操作互相影响,竞争资源,从而确保在实时入库的同时,有较好的查询性能。其中,引入了WriterServer集群负责接收写请求,实现了对HBase的实时入库,入库效率高。 | ||
搜索关键词: | 一种 读写 分离 hbase 入库 方法 | ||
【主权项】:
一种读写分离的HBase入库方法,其特征在于:写操作时,引入WriterServer进程接收HBaseClient发送的写请求,并且将写请求转换为HFile文件存储在HDFS上,然后通过HBase提供的bulkLoad接口将HFile文件移动到HBase数据目录下;读操作时,HBaseClient发出读取请求,HBase集群接收读取请求后,将需要的数据返回给HBaseClient。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京烽火软件科技有限公司,未经南京烽火软件科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610194383.X/,转载请声明来源钻瓜专利网。