[发明专利]数据查询方法、装置及计算机可读存储介质有效
申请号: | 201710602765.6 | 申请日: | 2017-07-21 |
公开(公告)号: | CN110019541B | 公开(公告)日: | 2022-04-05 |
发明(设计)人: | 席大超 | 申请(专利权)人: | 杭州海康威视数字技术股份有限公司 |
主分类号: | G06F16/28 | 分类号: | G06F16/28;G06F16/2453 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 江崇玉 |
地址: | 310051 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 查询 方法 装置 计算机 可读 存储 介质 | ||
本发明公开了一种数据查询方法、装置及计算机可读存储介质,属于大数据处理技术领域。所述方法包括:当接收到目标数据的查询请求时,确定目标数据对应的时间属性值,并根据目标数据对应的时间属性值,从数据立方表中查询目标数据。由于数据立方表包括的近期数据立方表用于存储时间属性值位于所述第一预设时间段内的数据,且数据立方表包括的历史数据立方表用于存储时间属性值位于所述第二预设时间段内的数据,因此可以根据目标数据对应的时间属性值,从历史数据立方表或近期数据立方表中查找目标数据,避免直接从整个数据立方表中查询目标数据,降低了从数据立方表中查询目标数据的工作量,从而可以提高目标数据的查询效率。
技术领域
本发明涉及大数据处理技术领域,特别涉及一种数据查询方法、装置及计算机可读存储介质。
背景技术
随着互联网技术的发展,通常需要根据用户的需求对海量数据进行查询,以得到用户想要查询的数据,为了便于描述,将用户想要查询的数据称为目标数据。实际应用中,目标数据通常为一定时间段内的数据,如用户想要查询某个超市昨天的销售额,目标数据即为昨天一天该超市的销售额。
相关技术中,为了提高从海量数据中查询目标数据的效率,可以预先建立多维度的数据立方表,每个维度对应数据的一种属性类型,数据在某个属性类型上的属性值对应该维度上的维度值。比如,销售额数据的属性类型包括销售时间、产品类别和销售区域,则对应的多个维度分别为销售时间、产品类别和销售区域,其中,销售额数据在属性类型为销售时间上的属性值对应维度为销售时间上的维度值。其中,数据立方表包括多个立方单元,每个维度均包括多个层级粒度,每个立方单元用于存储该多个维度中一个层级粒度的数据。比如,对于销售额数据,销售时间这个维度包括的层级粒度可以为天、月、年,产品类别这个维度包括的层级粒度可以为牛奶、面包、饮料,销售区域这个维度包括的层级粒度可以为北京、上海、西安,此时,对于该多个立方单元中的某个立方单元,该立方单元可以用于存储一天内牛奶在西安的销售额。
在建立数据立方表之后,对于该多个立方单元中的每个立方单元,从源数据库中查找该立方单元对应的所有数据,并对查找的数据进行处理得到该立方单元的聚集值,比如对查找的数据进行求和处理或平均值处理等。后续当需要查询目标数据时,根据目标数据的属性类型,遍历该数据立方表中的每个立方单元,确定与该目标数据对应的立方单元,并将该立方单元的聚集值确定为目标数据。
当源数据库的数据量较多时,上述数据立方表包括的立方单元的数量也较多,此时,如果直接从该数据立方表中查询目标数据,导致查询量过大,从而影响查询目标数据的效率。
发明内容
为了解决相关技术从数据立方表中查询目标数据效率低的问题,本发明实施例提供了一种数据查询方法、装置及计算机可读存储介质。所述技术方案如下:
第一方面,提供了一种数据查询方法,所述方法包括:
当接收到目标数据的查询请求时,确定所述目标数据对应的时间属性值;
当所述时间属性值位于第一预设时间段内时,从预先存储的数据立方表包括的近期数据立方表中查询所述目标数据,所述第一预设时间段为当前时间之前且与当前时间之间相差第一预设时长的时间段,所述近期数据立方表用于存储时间属性值位于所述第一预设时间段内的数据;
当所述时间属性值位于第二预设时间段内时,从所述数据立方表包括的历史数据立方表中查询所述目标数据,所述第二预设时间段为所述第一预设时间段中最早时间之前的时间段,所述历史数据立方表用于存储时间属性值位于所述第二预设时间段内的数据。
可选地,所述确定所述目标数据对应的时间属性值之后,还包括:
当所述时间属性值中的一部分位于所述第一预设时间段内,另一部分位于所述第二预设时间段内时,根据所述一部分的时间属性值从所述近期数据立方表中查询数据,得到第一数据;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州海康威视数字技术股份有限公司,未经杭州海康威视数字技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710602765.6/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置