[发明专利]查询数据的方法、装置、计算设备和存储介质在审
申请号: | 202010247340.X | 申请日: | 2020-03-31 |
公开(公告)号: | CN112632118A | 公开(公告)日: | 2021-04-09 |
发明(设计)人: | 单卫华;戴怡轩 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/906;G06F16/9537 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 颜晶 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 查询 数据 方法 装置 计算 设备 存储 介质 | ||
本申请提供了一种查询数据的方法、装置、计算设备和存储介质,属于大数据技术领域。该方法包括:在进行数据查询时,接收数据查询请求,其中,数据查询请求指定多个维度的数据范围,获取多维度数据的空间分布信息,空间分布信息记录多维度数据关联的多个子空间对象在各维度的数据范围;根据多维度数据的空间分布信息,在多维度数据中确定满足数据查询请求指定的多个维度的数据范围的块,在确定的块中,查找出满足数据查询请求指定的多个维度的数据范围的数据。采用本申请,可以提升数据的查询效率。
本申请要求于2019年09月24日提交的申请号为201910907480.2、发明名称为“一种数据处理方法及其装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及大数据技术领域,特别涉及一种查询数据的方法、装置、计算设备和存储介质。
背景技术
随着云计算和大数据技术的发展,带来数据的爆炸式增长,数据的数据量已经从吉字节(gigabyte,gb)级、万亿字节(terabyte,tb)级发展到了拍字节(petabyte,pb)级、百亿亿字节(exabyte,eb)级等,对数据的近实时分析成了更迫切的需求。在对数据进行分析时,首先要在大量的数据中,查询到所要分析的数据。
相关技术中,查询所要分析的数据的过程为:在存储文件时,服务器将文件切成块,确定各块的每一维度的数据的最大值和最小值,然后存储各块的每一维度的数据的最大值和最小值。服务器在进行数据查询时,使用所要查询数据的数据范围,去匹配该数据所属维度的数据的最大值和最小值,筛选出包括该数据范围的数据所属的块。然后服务器在筛选出的块中,查询该数据范围的数据。
在相关技术中,由于服务器仅使用每一维度的数据的最大值和最小值,去筛选数据,有可能导致大量的块中并未包括所要查询的数据,而被筛选出来。例如,某个块的d1维度的数据的数据范围为[10,45],所要查询的数据为d1维度,且范围为[27,38],按照相关技术的方式,即使该块d1维度的数据中不包括[27,38]的数据,也会被筛选出来。所以基于相关技术的查询方式,会导致数据的查询效率比较低。
发明内容
为了解决数据的查询效率比较低的问题,本申请提供了一种查询数据的方法、装置、计算设备和存储介质。
第一方面,本申请提供了一种查询数据的方法。在该方法中,接收数据查询请求,其中,数据查询请求指定多个维度的数据范围,获取多维度数据的空间分布信息,空间分布信息记录多维度数据关联的多个子空间对象在各维度的数据范围,根据多维度数据的空间分布信息,在多维度数据中确定满足数据查询请求指定的多个维度的数据范围的块,在确定的块中,查找出满足数据查询请求指定的多个维度的数据范围的数据。
例如,子空间对象是将多维度数据在空间上进行聚簇形成。
本申请所示的方案,该方法的执行主体可以是查询数据的装置,查询数据的装置可以接收数据查询请求,该数据查询请求指定多个维度的数据范围,即待查询的数据属于多个维度。查询数据的装置可以获取多维度数据的空间分布信息,该空间分布信息记录有多维度数据关联的多个子空间对象在各维度的数据范围。然后查询数据的装置可以根据空间分布信息,在多维度数据中,确定满足所要查询的多个维度的数据范围的块。查询数据的装置可以在确定的块中,使用所要查询的多个维度的数据范围,查找到多个维度的数据范围所指示的数据。这样,针对空间上相邻,但在物理内存上分布较分散的数据,通过学习这些数据的空间分布信息,构建出多维度数据的空间分布信息,能够有效的过滤查询,减少大量块的无效读取和分析,提升数据查询速度。
在一种可能的实施方式中,根据多维度数据的空间分布信息,在多维度数据中确定满足数据查询请求指定的多个维度的数据范围的块,包括:根据多维度数据的空间分布信息,从多个子空间对象中确定满足数据查询请求指定的多个维度的数据范围的一个或多个子空间对象;将确定的子空间对象所属的块,作为满足数据查询请求指定的多个维度的数据范围的块。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010247340.X/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置