[发明专利]数据存储、查询方法、装置、设备、计算机可读存储介质

说明书

本发明提供了一种数据存储、查询方法、装置、设备、计算机可读存储介质，属于数据处理技术领域。基于Hbase的数据存储方法包括：获取待存储的用户数据对应的Region标识、用户信息和时间信息；根据Region标识、用户信息和时间信息生成用户数据的RowKey；按照Region标识将用户数据存储至对应的Region中。基于Hbase的数据查询方法包括：将待查询的用户数据的RowKey根据Region标识进行分组，RowKey包括用户数据对应的Region标识、用户信息和时间信息，每组RowKey包含相同的Region标识；利用并发的多个线程对多组RowKey执行查询操作，每一线程执行一组RowKey的查询。本发明能够提高数据的存储效率和查询效率。

技术领域

本发明涉及数据处理技术领域，特别是指一种数据存储、查询方法、装置、设备、计算机可读存储介质。

背景技术

随着网络技术的飞速发展，数据量的急速增长，为了分析和利用这些庞大的数据资源，传统的技术已然遇到了巨大的障碍，无法胜任大数据分析的任务。而为了满足大数据分析的要求，Google提出了MapReduce技术，它是一种面向大规模数据分析处理和并行计算的编程模型。在大数据所需的技术中，分布式文件系统、分布式数据库等都是适用于大数据的技术。HBase是一种可扩展的、支持大规模的分布式数据库。它是利用HadoopHDFS作为其文件存储系统。由于它具有良好的可扩展性、容错性，以及随机读取能力，支持MapReduce并行计算，被越来越多的公司所接受。随着HBase性能和稳定性的持续改善，HBase逐渐成为在大数据NoSQL领域的标准之一。HBase是以表的形式存储数据，表由行和列组成，列划分为若干个列族(row family)，RowKey(行键)是用来检索记录的主键。

但现有HBase存在以下缺点：

(1)满足实时顺序查询，但不满足快速海量写入。

按照某种序列连续写，例如按照时间序列，连续设计连续RowKey，写入HBase数据库。这样写在数据量小的时候或许会有很好的读写性能，如果是数据量非常大，那么HBase就很容易出现热点问题，即某台Regionserver(HBase集群运行在每个工作节点上的服务)挂掉，然后热点转移到另一台Regionserver，然后被转移的Regionserver挂掉，这样连续传导，直到整个集群挂掉，出现HBase不可用。

(2)满足快速海量写入，但不满足实时顺序查询。

按照某种现有Hash(哈希)算法，把短时间内出现的连续序列RowKey，分散到多台Regionserver写。由于这里做了Hash分布，那么在读取时，必须合并这多路Hash的Region(域)。显然读取需要大量的检索，需要大量网络I/O(输入/输出)并占用大量的内存来合并这些值。这对于需要实时响应的查询是不可取的。即使是离线业务，也很难忍受。

综上所述，现有HBase很难同时满足海量数据的快速写入和实时查询。

发明内容

本发明要解决的技术问题是提供一种数据存储、查询方法、装置、设备、计算机可读存储介质，能够提高数据的存储效率和查询效率。

为解决上述技术问题，本发明的实施例提供技术方案如下：

一方面，提供一种基于Hbase的数据存储方法，包括：

获取待存储的用户数据对应的Region标识、用户信息和时间信息；

根据所述Region标识、用户信息和时间信息生成所述用户数据的RowKey；

按照所述Region标识将所述用户数据存储至对应的Region中。

进一步地，获取待存储的用户数据对应的Region标识包括：

根据待存储的用户数据的总量计算Region的个数N；