[发明专利]一种基于HBase协处理器同步数据到elasticsearch的方法

说明书

本发明公开了一种基于HBase协处理器同步数据到elasticsearch的方法，其特征在于，所述方法通过为HBase所创建的表配置协处理器，将该协处理器属性配置给对应的HBase的表，在协处理器生效时，通过客户端连接elasticsearch，初始化HBase协处理器参数，创建elasticsearch索引；然后HBase协处理器调用相关方法将HBase数据同步到elasticsearch对应的索引中。本发明通过向HBase写入、更新或删除数据，将HBase中变动的数据实时同步到elasticsearch中进行存储，利用elasticsearch实现数据的灵活查询和统计。

技术领域

本发明涉及分布式数据同步技术领域，具体涉及一种基于HBase协处理器同步数据到elasticsearch的方法。

背景技术

随着数据的增长，分布式数据的高效存储和查询显得越来越重要，HBase是运行在Hadoop之上的非结构化存储数据库，Elasticsearch则是分布式系统中高效引擎系统，实现数据存储和高效查询，现有的基于HBase和Elasticsearch的存储和查询已经具有较为成熟的方法，但各自存在一些优缺点：

1、MapReduce方案

MapReduce是一种可用于数据处理的编程框架。MapReduce可以通过分布式的原理，将HBase的数据批量、离线同步到elasticsearch中，Mapreduce需要通过对HBase表的扫描才能将数据同步到Elasticsearch中，因此HBase的每一次增删改查都需要运行Mapreduce来进行同步，灵活性不够强，实时性不够强。

2、HBase二级索引方案

在HBase创建表的时候，需要在同一个region server上创建索引表，且一一对应。在主表中插入某条数据后，用Coprocessor将索引列写到索引表中去。为了使主表和索引表在同一个region server上，要禁用索引表的自动和手动split（分裂），只能由主表split的时候触发，当主表split的时候，对索引表按其对应数据进行划分，同时，对索引表的第二个daughter split的row key的前面部分修改为对应的主键的row key。HBase的二级索引需要深入理解HBase的后台机制原理，进行二次开发，不利于功能解耦。

发明内容

本发明要解决的技术问题是：针对以上问题，本发明提供一种基于HBase协处理器同步数据到elasticsearch的方法

本发明所采用的技术方案为：

一种基于HBase协处理器同步数据到elasticsearch的方法，所述方法通过为HBase所创建的表配置协处理器，将该协处理器属性配置给对应的HBase的表，在协处理器生效时，通过客户端连接elasticsearch，初始化HBase协处理器参数，创建elasticsearch索引；然后HBase协处理器调用相关方法将HBase数据同步到elasticsearch对应的索引中，利用elasticsearch实现数据的多条件查询。

所述HBase协处理器参数配置包括：

配置HBase协处理器的相关类，包括elasticsearch的集群名、集群ip、索引名、索引类型信息，并与elasticsearch建立相关的联系。

所述HBase协处理器通过调用start()方法，获取elasticsearch客户端连接参数，设置cluster.name、transport.type为netty3，创建elasticsearch客户端连接实例对象，为HBase建立相应的elasticsearch索引。

所述HBase数据的写入、更新，通过调用HBase协处理器的postPut方法实现。