[发明专利]一种构建HBase集群全文索引方法，数据读取方法以及数据写入方法

说明书

本发明提供一种构建HBase集群全文索引方法，数据读取方法以及数据写入方法，在HBase集群中配置Zookeeper，建立全文索引Table_Index表；HBase集群基于Zookeeper将集群的所有节点配置成一队列，在所述队列中存放每个节点的读取WAL日志；在Table_Index表中对应的每个节点位开启单独线程，按照队列的次序，将每个节点的WAL日志对应到Table_Index表的节点位，每个节点位上设有一HBase集群节点的读取WAL日志以及节点的开启线程。对HBase集群数据建立全文索引的方法，具有很好的时效性，并且避免了额外的数据处理带来的存储和计算开销。

技术领域

本发明涉及HBase集群领域，尤其涉及一种构建HBase集群全文索引方法，数据读取方法以及数据写入方法。

背景技术

随着云计算技术的不断发展，云计算技术不断落地成为支撑各行业信息技术发展的重要支柱。基于Hadoop和HBase的分布式集群，如今已成为国内外云计算热门研究对象。Hadoop的HDFS分布式存储为云平台提供了分布式文件存储系统，而HBase因为具有良好的读写性能，并且能够支持大数据量的表，因而适用于简单业务、数据量巨大的在线数据库及数据仓库。由于HBase对事务的支持比较弱，只支持行级事务，因此业务数据库往往由mysql、oracle等成熟的关系型数据库担任，同时HBase能够轻而易举的承载海量数据，这是传统关系数据库不可比拟的，因此HBase往往用来做数据仓库，存储历史明细数据。由于历史数据数据量往往十分巨大，想要根据任意关键字查询数据，需要对每条数据的每个字段全部扫描一遍，犹如大海捞针，常用解决这个问题的手段是对数据在Solr或ElasticSearch中建立全文索引。当前对HBase数据建立全文索引，不再写入HBase，而是将数据写入消息队列，然后通过流式计算分发数据，写入HBase和建立全文索引。这种方式需要将数据存在消息队列中，并且需要编程实现流式计算，增加了存储和计算开销。

发明内容

为了克服上述现有技术中的不足，本发明提供方法包括：

在HBase集群中配置Zookeeper，建立全文索引Table_Index表；

HBase集群基于Zookeeper将集群的所有节点配置成一队列，在所述队列中存放每个节点的读取WAL日志；

在Table_Index表中对应的每个节点位开启单独线程，按照队列的次序，将每个节点的WAL日志对应到Table_Index表的节点位，每个节点位上设有一HBase集群节点的读取WAL日志以及节点的开启线程。

优选地，当队列中的节点WAL日志对应到Table_Index表的节点位后，将队列中的所述节点的WAL日志删除。

优选地，当队列中有新的节点加入时，生成所述节点的WAL日志，并将所述节点的WAL日志对应到Table_Index表的空闲节点位，开启所述节点线程；

所述节点的WAL日志对应到Table_Index表的节点位后，将队列中的所述节点的WAL日志删除。

优选地，通过获取Table_Index表中节点位的WAL日志以及开启线程，获取HBase集群中的节点，对所述节点进行配置。

优选地，对Table_Index表的操作记录建立全文索引并写入Solr或ElasticSearch中。

一种基于HBase集群的数据读取方法，方法包括：

客户端输入待操作的节点信息，对待操作的节点信息进行缓存；

客户端从HBase集群中读取Table_Index表，通过待操作的节点信息获取Table_Index表中对应的所述节点位及WAL日志；

将所述节点位对应的节点与客户端建立读取线程。