[发明专利]基于读写锁算法对HBASE实时数据无障碍写处理方法在审
申请号: | 201710765083.7 | 申请日: | 2017-08-30 |
公开(公告)号: | CN107491314A | 公开(公告)日: | 2017-12-19 |
发明(设计)人: | 熊坪 | 申请(专利权)人: | 四川长虹电器股份有限公司 |
主分类号: | G06F9/44 | 分类号: | G06F9/44;G06F9/52;G06F17/30 |
代理公司: | 四川省成都市天策商标专利事务所51213 | 代理人: | 李静云,刘渝 |
地址: | 621000 四*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 读写 算法 hbase 实时 数据 障碍 处理 方法 | ||
1.一种基于读写锁算法对HBASE实时数据无障碍写处理方法,其特征在于:方法步骤如下,
(1)通过内部包禁止HBase合并、分裂;
(2)定义全局变量:缓冲列表puts、表对应连接map、表对应缓冲数据pMap、读写锁rwl;
(3)构造器:初始化表连接,如果map中默认表连接不存在,获取对应表连接,并设置自动提交为false,将表及连接对应关系存入map中;
(4)写处理:写数据时加写入锁,将数据存放到client缓冲列表中,完成释放写入锁;
(5)读处理:读数据时加读取锁,提交数据到HBASE服务器端,完成释放读取锁;
(6)启动线程,每隔1秒执行一次读处理。
2.根据权利要求1所述基于读写锁算法对HBASE实时数据无障碍写处理方法,其特征在于:在空闲时,运行定时任务手动将region进行合并分裂;定义全局变量缓冲列表puts、表对应连接map、表对应缓冲数据pMap、读写锁rwl;构造器初始化表连接。
3.根据权利要求1所述基于读写锁算法对HBASE实时数据无障碍写处理方法,其特征在于:步骤1中,设置hbase默认不执行合并、region分裂块大小足够大。
4.根据权利要求1所述基于读写锁算法对HBASE实时数据无障碍写处理方法,其特征在于:步骤2中,所述缓冲列表puts作为客户端写处理缓冲池,前提是获得写入锁即可无限制写入;表对应连接map作为读处理操作相应缓冲数据pMap提交到HBASE服务器;读写锁rwl作为写处理加写入锁,读处理加读取锁控制。
5.根据权利要求1所述基于读写锁算法对HBASE实时数据无障碍写处理方法,其特征在于:步骤2中,变量声明还包括默认表名tableName、表连接htable、HBASE库连接conn。
6.根据权利要求1所述基于读写锁算法对HBASE实时数据无障碍写处理方法,其特征在于:步骤4、步骤5中,采用JAVA编程语言中读写锁算法,实现对HBASE实时数据无障碍的写处理。
7.根据权利要求6所述基于读写锁算法对HBASE实时数据无障碍写处理方法,其特征在于:步骤4中进行写处理,即获取写入锁,向缓冲列表中无障碍写数据,再释放写入锁;若当HBASE正在提交缓冲中数据时则处于读取锁状态不可写,等待读取锁释放后,获得写入锁再向缓冲中无障碍写数据,再释放写入锁。
8.根据权利要求6所述基于读写锁算法对HBASE实时数据无障碍写处理方法,其特征在于:步骤5读处理,即将表对应缓冲数据中缓冲列表puts数据提交到HBASE服务器端的操作,获取读取锁;当表对应缓冲数据存在记录时,通过表对应连接获取该表连接,再刷新提交相应的缓冲列表变量,接着清空对应的缓冲列表变量puts、表对应缓冲数据pMap,再释放读取锁。
9.根据权利要求1-8任意一项权利要求所述的基于读写锁算法对HBASE实时数据无障碍写处理方法,其特征在于:还能根据多线程队列消费者数据进行多线程同时作业。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于四川长虹电器股份有限公司,未经四川长虹电器股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710765083.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种嵌入式教学系统控制方法及装置
- 下一篇:消息提示方法、装置及终端