[发明专利]数据查询方法、装置、电子装置和存储介质在审
申请号: | 202110423176.8 | 申请日: | 2021-04-20 |
公开(公告)号: | CN113127488A | 公开(公告)日: | 2021-07-16 |
发明(设计)人: | 李良敏;黄奇;赵玉红;陶成骁;袁绪怀 | 申请(专利权)人: | 粒子文化科技集团(杭州)股份有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/23;G06F16/2458;G06F16/27;G06F16/28 |
代理公司: | 杭州华进联浙知识产权代理有限公司 33250 | 代理人: | 贺才杰 |
地址: | 310013 浙江省杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 查询 方法 装置 电子 存储 介质 | ||
本申请涉及一种数据查询方法、装置、电子装置和存储介质,应用于HBase数据库,该方法包括:从HBase数据库获取第一数据记录,其中,第一数据记录包括主键及与主键对应的数据,与主键对应的数据包括多个列;将第一数据记录转换为关系型数据库的第二数据记录,其中,第二数据记录以主键和至少一个列的列名称作为字段;在关系型数据库上生成各列名称对应字段的索引;基于索引在关系型数据库中进行数据查询,得到第二数据记录中命中预设查询条件的第三数据记录;从HBase数据库中获取与第三数据记录的主键对应的数据记录。通过本申请,解决了相关技术中在HBase数据库中进行多条件查询时效率低的问题,实现了提高在HBase数据库中进行多条件查询时的效率的技术效果。
技术领域
本申请涉及数据库技术领域,特别是涉及一种数据查询方法、装置、电子装置和存储介质。
背景技术
HBase是一个分布式的、面向列的开源数据库,不同于一般的关系数据库,HBase数据库适合于非结构化数据存储。
HBase数据库中RowKey可以唯一标识一行记录,在HBase中检索数据有以下三种方式:1、通过get方式,指定RowKey获取唯一一条记录;2、通过scan方式,设置startRow和stopRow参数进行范围匹配;3、全表扫描,即直接扫描整张表中所有行记录。
目前HBase主要应用在半结构化的大数据存储上,其在插入和读取上都具有极高的性能表现,这与它的数据组织方式有着密切的关系,在逻辑上,HBase的表数据按照RowKey进行字典排序,RowKey实际上是HBase的一级索引,由于HBase本身没有二级索引机制,检索数据只能单纯地依靠RowKey,为了能支持多条件查询,开发者需要将所有可能作为查询条件的字段一一拼接到RowKey中,这是HBase开发中极为常见的做法,但是无论怎样设计,单一RowKey固有的局限性决定了它不可能有效地支持多条件查询,同时,在业务多变的情况下,频繁更新HBase数据库内的RowKey来满足搜索需求会导致HBase数据库的维护成本提高,且数据查询的效率降低。
目前针对相关技术中在HBase数据库中进行多条件查询时效率低的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据查询方法、装置、电子装置和存储介质,以至少解决相关技术中在HBase数据库中进行多条件查询时效率低的问题。
第一方面,本申请实施例提供了一种数据查询方法,应用于HBase数据库,包括:从所述HBase数据库获取第一数据记录,其中,所述第一数据记录包括主键及与所述主键对应的数据,与所述主键对应的数据包括多个列;将所述第一数据记录转换为关系型数据库的第一数据记录记录,其中,所述第一数据记录记录以所述主键和至少一个所述列的列名称作为字段;在所述关系型数据库上生成各所述列名称对应字段的索引;基于所述索引在所述关系型数据库中进行数据查询,得到所述第一数据记录记录中命中预设查询条件的第三数据记录;从所述HBase数据库中获取与所述第三数据记录的主键对应的数据记录,即为与所述预设查询条件对应的查询结果。
在其中一些实施例中,在所述HBase数据库接收到数据写入请求时,将对应于所述数据写入请求的待写入数据记录写入所述HBase数据库中;从所述HBase数据库获取待写入数据记录;根据所述待写入数据记录对所述关系型数据库中的第一数据记录记录进行更新,并根据更新后的第一数据记录记录,对所述关系型数据库中的索引进行更新。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于粒子文化科技集团(杭州)股份有限公司,未经粒子文化科技集团(杭州)股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110423176.8/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置