[发明专利]基于HBase的数据处理方法、装置和设备

说明书

本发明涉及一种基于HBase的数据处理方法、装置和设备，方法包括捕获HBase数据库中变化的日志信息；对变化的日志信息进行数据解析，得到目标数据；将目标数据实时推送到消息队列上，以将变化的数据信息写入预设的存储介质中。采用本发明的技术方案，能够实时抓取变化的数据，实时推送到消息队列，并基于消息队列将数据写入到预设的存储介质中，使得操作HBase的时候所有的操作都能够产生实时的事件到消息队列，提升了HBase的实时推送能力，缓解了数据孤岛，减少HBase的查询的次数以及抽取的次数，丰富了基于HBase的数据库的架构。

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于HBase的数据处理方法、装置和设备。

背景技术

快递业务飞速发展，2019年，中国快递服务企业业务量累计完成630亿余件，人均使用快递约45件。对于每天3000万以上的运单数据，而每件单号需要有派件消息通知或者快递柜、快递超市货驿站等的取件码等信息，每天上亿的消息的存储，使用HBase很好的解决了大并发的消息的实时写入以及低成本的数据存储。

但是，目前HBase的数据在于其他存储交互数据的时候需要借助定时抽取数据，时效性差，而且HBase主要是基于k-v的键值对的存储，而跨key的查询性能低下，HBase在实时事件上面需要借助于业务系统来解决，而在存储层缺少手段。

发明内容

有鉴于此，本发明的目的在于提供一种基于HBase的数据处理方法、装置和设备，以克服目前HBase的数据在于其他存储交互数据的时候需要借助定时抽取数据，时效性差，而且HBase主要是基于k-v的键值对的存储，而跨key的查询性能低下，HBase在实时事件上面需要借助于业务系统来解决，而在存储层缺少手段的问题。

为实现以上目的，本发明采用如下技术方案：

一种基于HBase的数据处理方法，包括：

捕获HBase数据库中变化的日志信息；

对所述变化的日志信息进行数据解析，得到目标数据；

将所述目标数据实时推送到消息队列上，以将所述变化的数据信息写入预设的存储介质中。

进一步地，以上所述的基于HBase的数据处理方法，所述存储介质至少包括：Elasticsearch、Hive；

所述将所述目标数据实时推送到消息队列上，以将所述变化的数据信息写入预设的存储介质中，包括：

将所述目标数据实时推送到消息队列上，以将所述变化的数据信息至少写入所述Elasticsearch和/或所述Hive中。

进一步地，以上所述的基于HBase的数据处理方法，所述捕获HBase数据库中变化的日志信息之前，包括：

对保存至所述HBase数据库中的数据进行处理，以使所述HBase数据库中产生所述变化的日志信息；其中，所述保存至所述HBase数据库中的数据是HBase客户端发送的。

进一步地，以上所述的基于HBase的数据处理方法，所述对保存至所述HBase数据库中的数据进行处理，包括：

对保存至所述HBase数据库中的数据进行数据的分配与数据的预处理。

进一步地，以上所述的基于HBase的数据处理方法，所述消息队列包括：kafka队列。

进一步地，本发明还提供了一种基于HBase的数据处理装置，包括：

捕获模块，用于捕获HBase数据库中变化的日志信息；

分析模块，用于对所述变化的日志信息进行数据解析，得到目标数据；