[发明专利]基于行键盐值的数据查询方法、装置、设备及存储介质

说明书

本发明涉及大数据技术领域，公开了一种基于行键盐值的数据查询方法、装置、设备及存储介质，用于解决数据热点问题、降低资源占用率，从而提升查询性能。基于行键盐值的数据查询方法包括：获取数据库中的表数据和多个数据行键；统计数据分区数量，获取多个目标盐值，根据多个目标盐值和多个数据行键，获取多个盐值数据行键；确定多个目标数据分区；根据数据查询请求获取数据起始键和数据终止键；将数据起始键至数据终止键中的对应多个盐值数据行键进行封装为盐值数据行键封装列表；根据目标终端的数据查询请求确定目标盐值数据行键，并将目标盐值数据行键传输至目标终端。此外，本发明还涉及区块链技术，目标盐值数据行键可存储于区块链节点中。

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于行键盐值的数据查询方法、装置、设备及存储介质。

背景技术

Hbase是一个分布式的、面向列的开源数据库是一个分布式的和可扩展的大数据仓库，HBase能够融合key/value存储模式带来实时查询的能力，以及通过MapReduce进行离线处理或者批处理的能力，Hbase能够在大量的数据中快速查询记录，也可以从中获得综合分析报告。Presto是一个分布式的查询引擎，基于内存进行计算，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询数据查询引擎。

在现有技术中，通常基于Hbase和Presto查询数据，但是当数据达到亿级别或以上时，数据会出现热点问题，资源占用率较高且计算效率较低，从而导致开源Presto HBase的查询性能下降。

发明内容

本发明的主要目的在于解决现有技术在查询数据时，计算效率低、资源占用率高导致的查询性能差的问题。

本发明第一方面提供了一种基于行键盐值的数据查询方法，包括：获取数据库中的表数据，并从所述表数据中读取多个数据行键，所述表数据包括多个数据分区；统计所述多个数据分区的数量，得到数据分区数量，根据所述数据分区数量获取多个目标盐值，并根据所述多个目标盐值和所述多个数据行键，获取多个盐值数据行键；根据所述多个盐值数据行键和所述多个数据分区，确定多个目标数据分区；获取目标终端的数据查询请求，并在所述多个目标数据分区中，根据所述数据查询请求和所述多个盐值数据行键，确定起始盐值数据行键对应的数据起始键和终止盐值数据行键对应的数据终止键；将所述数据起始键至所述数据终止键中对应的多个盐值数据行键进行封装，得到盐值数据行键封装列表，所述盐值数据行键封装列表包括所述数据起始键对应的起始盐值数据行键和所述数据终止键对应的终止盐值数据行键；根据所述目标终端的数据查询请求在所述盐值数据行键封装列表中确定目标盐值数据行键，并将所述目标盐值数据行键传输至目标终端。

可选的，在本发明第一方面的第一种实现方式中，所述统计所述多个数据分区的数量，得到数据分区数量，根据所述数据分区数量获取多个目标盐值，并根据所述多个目标盐值和所述多个数据行键，获取多个盐值数据行键包括：统计所述多个数据分区的数量，得到数据分区数量；根据所述数据分区数量设置盐值范围，得到多个盐值选值，盐值选值数量与所述数据分区数量相同，每个盐值选值对应多个初始盐值；为多个初始盐值设置分隔符，得到多个目标盐值；采用随机数算法将所述多个目标盐值随机设置到所述多个数据行键的前缀位置，得到多个盐值数据行键。

可选的，在本发明第一方面的第二种实现方式中，所述根据所述多个盐值数据行键和所述多个数据分区，确定多个目标数据分区包括：依次读取所述多个盐值数据行键中对应的目标盐值，得到多个目标行键盐值；基于所述多个目标行键盐值对所述多个盐值数据行键进行分类，得到多个盐值数据行键类别；将所述多个盐值数据行键类别分配到对应的数据分区中，得到多个目标数据分区。