[发明专利]分区管理、数据存储和查询方法及装置、设备、介质有效
申请号: | 201811628668.5 | 申请日: | 2018-12-28 |
公开(公告)号: | CN111382197B | 公开(公告)日: | 2023-10-27 |
发明(设计)人: | 李冰杰;王辉;徐志威 | 申请(专利权)人: | 杭州海康威视数字技术股份有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/23 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 林祥 |
地址: | 310051 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分区 管理 数据 存储 查询 方法 装置 设备 介质 | ||
本发明提供一种分区管理、数据存储和查询方法及装置、设备、介质,该分区管理方法,包括:在需创建第一分区时,确定在第一时间区间T1内存储数据所需的第一分区的数量N;所述T1的较小时间端点晚于当前时间t0;在数据库中创建所述N个第一分区,并将所述T1与所述第一分区的分区信息对应地记录在预设的分区信息表中。创建的分区是按照时间区间划分的,数据查询时只需查找时间区间对应的分区,有利于提升查找效率。
技术领域
本发明涉及数据库技术领域,尤其涉及的是一种分区管理、数据存储和查询方法及装置、设备、介质。
背景技术
分布式数据库比如HBase,是数据库技术与网络技术相结合的产物。分布式数据库可以包括多个用于分布式存储及负载均衡的分区,数据可存入到分区中。
相关的分区管理方式中,分区是统一创建的,创建时会一次性划分好所有分区的分区号,分区号是对应分区的序号,一般依据分区总数来划分所有分区号,比如有32个分区,则分区号比如包括0~31。在存储数据时,根据数据计算分区号后,将该数据存入到该分区号对应的分区中,在查询数据时,依据数据的时间戳从各个分区中查找出需要的数据。
此种方式中,一段时间内获取到的数据可能会分散地存储在很多分区内,相应的,查询一段时间内的数据时,需要对所有分区中的数据进行查找,导致查找效率较低。
发明内容
有鉴于此,本发明提供一种分区管理、数据存储和查询方法及装置、设备、介质,创建的分区是按照时间区间划分的,数据查询时只需查找时间区间对应的分区,有利于提升查找效率。
本发明第一方面提供一种分区管理方法,包括:
在需创建第一分区时,确定在第一时间区间T1内存储数据所需的第一分区的数量N;所述T1的较小时间端点晚于当前时间t0;
在数据库中创建所述N个第一分区,并将所述T1与所述第一分区的分区信息对应地记录在预设的分区信息表中。
根据本发明的一个实施例,所述确定在第一时间区间T1内存储数据所需的第一分区的数量N,包括:
从所述分区信息表中确定出第二时间区间T2对应的第一分区信息,所述T2的较大时间端点不晚于所述t0;
确定数据库中与所述第一分区信息对应的分区所存储的数据总量;
依据所述数据总量、及设定的单个分区存储量确定所述第一分区的数量。
根据本发明的一个实施例,依据所述数据总量、及设定的单个分区存储量确定所述第一分区的数量,包括:
计算所述数据总量与所述设定的单个分区存储量的比;
对所述比进行向上取整,将取整所得值确定为所述数量。
根据本发明的一个实施例,该方法还进一步包括:
在需删除分区时,从所述分区信息表中确定出至少一个第三时间区间T3对应的第二分区信息,所述T3的较大时间端点早于指定时间t1,所述t1比所述t0早设定有效时长;
删除数据库中与所述第二分区信息对应的分区,并删除所述分区信息表中的所述第二分区信息所在表项。
根据本发明的一个实施例,该方法还进一步包括:
在需判断是否删除分区时,判断所述数据库中已存储的数据量是否超过设定数据量;
若是,从所述分区信息表中确定出至少一个最早记录至所述分区信息表中的第三分区信息,删除数据库中与所述第三分区信息对应的分区,并删除所述分区信息表中的所述第三分区信息所在表项。
本发明第二方面提供一种数据存储方法,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州海康威视数字技术股份有限公司,未经杭州海康威视数字技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811628668.5/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置