[发明专利]数据库写入的方法和数据库系统

说明书

本申请实施例公开了一种Hbase数据库的写入方法和系统，方法包括：在第一流处理节点接收流分发节点分发的第一日志数据；在第一流处理节点中解析处理该第一日志数据中的日志得到第二日志数据，并确定该第二日志数据中日志对应的表格和区域；在第一流处理节点将该第二日志数据中的日志携带的内容按照表格和区域路由到对应的第二流处理节点；在第二流处理节点将接收到的日志按照表格和区域进行合并形成第三日志数据；在第二流处理节点将该第三日志数据中表格名称为第一表格，区域标识为第一区域标识的数据，通过Hbase数据库中该第一表格和该第一区域标识对应的区域服务器，以put操作的方式写入该第一表格和该第一区域标识对应的区域。

技术领域

本申请涉及数据库领域，尤其涉及一种数据库写入的方法和数据库系统。

背景技术

在现有的Jstorm应用中，其在Hbase数据库的写入操作，将原始日志和抽取的索引在保存前按照索引+分钟版本将日志内容合并到一行；同时将索引在内存中保存并进行去重操作，以此降低写入频次。但是，由于原始日志的条数很多，写入量很大，现有的Jstorm等流处理应用对Hbase数据库的写入存在瓶颈。

如何避免Hbase数据库写入的瓶颈，提高Hbase数据库写入的效率，是本申请所要解决的技术问题。

发明内容

本申请实施例提供了一种数据库写入的方法和流处理系统，能够提高Hbase数据库写入的效率。

第一方面，提供了一种Hbase数据库写入的方法，该方法包括：

在第一流处理节点接收流分发节点分发的的第一日志数据，该流分发节点为读取准备写入到Hbase数据库的原始日志数据并分发的消息源节点，该第一流处理节点为直接接收到该流分发节点分发的数据的消息流处理节点；

在第一流处理节点中解析处理该第一日志数据中的日志得到第二日志数据，并确定该第二日志数据中日志对应的表格和区域；

在第一流处理节点将该第二日志数据中的日志携带的内容按照表格和区域路由到对应的第二流处理节点，该第二流处理节点为该流分发节点的末端消息流处理节点；

在第二流处理节点将接收到的日志按照表格和区域进行合并形成第三日志数据；

在第二流处理节点将该第三日志数据中表格名称为第一表格，区域标识为第一区域标识的数据，通过Hbase数据库中该第一表格和该第一区域标识对应的区域服务器，以put操作的方式写入该第一表格和该第一区域标识对应的区域。

第二方面，提供了一种流处理系统，包括：流分发节点、第一流处理节点和第二流处理节点，其中，

流分发节点，读取准备写入到Hbase数据库的原始日志数据并向各第一流处理节点分发；

第一流处理节点，接收流分发节点分发的的第一日志数据，解析处理该第一日志数据中的日志得到第二日志数据，并确定该第二日志数据中日志对应的表格和区域，并将该第二日志数据中的日志携带的内容按照表格和区域路由到对应的第二流处理节点，其中，该第一流处理节点为直接接收到该流分发节点分发的数据的消息流处理节点；

第二流处理节点，将接收到的日志按照表格和区域进行合并形成第三日志数据，并将该第三日志数据中表格名称为第一表格，区域标识为第一区域标识的数据，通过Hbase数据库中该第一表格和该第一区域标识对应的区域服务器，以put操作的方式写入该第一表格和该第一区域标识对应的区域，其中，该第二流处理节点为该流分发节点的末端消息流处理节点。