[发明专利]一种Hbase表中冷热数据转换方法、装置及电子设备在审

专利信息
申请号: 202010430568.2 申请日: 2020-05-20
公开(公告)号: CN113704346A 公开(公告)日: 2021-11-26
发明(设计)人: 许正一;张建兴;李林森 申请(专利权)人: 杭州海康威视数字技术股份有限公司
主分类号: G06F16/27 分类号: G06F16/27;G06F16/22
代理公司: 北京柏杉松知识产权代理事务所(普通合伙) 11413 代理人: 项京;马敬
地址: 310051 浙*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 hbase 冷热 数据 转换 方法 装置 电子设备
【权利要求书】:

1.一种Hbase表中冷热数据转换方法,其特征在于,包括:

在Hbase表包含的各热存储区间中,确定从存储时段的结束时刻到当前时刻的时长大于第一预设时长的热存储区间,作为目标热存储区间,其中,所述热存储区间为在第一硬盘上存储热数据的存储区间,一个存储区间对应的存储时段表示该存储区间用于存储生成时刻位于该存储时段的数据;

将所述目标热存储区间变更为存储冷数据的冷存储区间,以使所述目标热存储区间存储的热数据转换为冷数据,所述冷存储区间为在第二硬盘上存储冷数据的存储区间,所述第一硬盘的读写性能高于所述第二硬盘的读写性能。

2.根据权利要求1所述的方法,其特征在于,所述Hbase表中每个存储区间对应有区间标识,所述区间标识为第一预设格式的字符串,从一个存储时段的结束时刻到当前时刻的时长大小,与该存储时段对应的区间标识的字符串数值的大小成反比;

所述在Hbase表包含的各热存储区间中,确定从存储时段的结束时刻到当前时刻的时长大于第一预设时长的热存储区间,包括:

基于第一预设时长,按照预设的第一编码策略,对所述当前时刻进行编码,得到基准标识,其中,所述基准标识为与所述当前时刻相差所述第一预设时长的时刻对应的所述第一预设格式的字符串;

在所述各热存储区间中,确定区间标识的字符串数值小于所述基准标识的字符串数值的热存储区间,作为目标热存储区间。

3.根据权利要求1或2所述的方法,其特征在于,所述Hbase表中存储区间包含有存储单元;

所述将所述目标热存储区间变更为存储冷数据的冷存储区间,以使所述目标热存储区间存储的热数据转换为冷数据,包括:

将所述目标热存储区间包含的存储单元的热存储策略修改为冷存储策略,以使所述目标热存储区间包含的存储单元从所述第一硬盘转移至所述第二硬盘。

4.一种数据的存储方法,其特征在于,包括:

针对待存入Hbase表中的待存储数据,确定所述待存储数据的生成时刻,所述Hbase表中包含热存储区间和冷存储区间,所述热存储区间为在第一硬盘上存储热数据的存储区间,所述冷存储区间为在第二硬盘上存储冷数据的存储区间,所述第一硬盘的读写性能高于所述第二硬盘的读写性能,所述Hbase表中每个存储区间对应有存储时段,一个存储区间对应的存储时段表示该存储区间用于存储生成时刻位于该存储时段的数据;

将所述待存储数据存入所述Hbase表中所述待存储数据的生成时刻所属的存储时段对应的存储区间。

5.根据权利要求4所述的方法,其特征在于,所述Hbase表中每个存储区间对应有区间标识,所述区间标识为第一预设格式的字符串,从一个存储时段的结束时刻到当前时刻的时长大小,与该存储时段对应的区间标识的字符串数值的大小成反比;

在将所述待存储数据存入所述Hbase表中所述待存储数据的生成时刻所属的存储时段对应的存储区间之前,还包括:

按照预设的第二编码策略,对所述待存储数据的生成时刻进行编码,得到所述第一预设格式的字符串,作为所述待存储数据的数据时间标识,一个数据的数据时间标识对应的字符串数值的大小,与该数据的生成时刻与所述当前时刻之间的时长成反比;

所述将所述待存储数据存入所述Hbase表中所述待存储数据的生成时刻所属的存储时段对应的存储区间,包括:

确定所述Hbase表中对应的区间标识与所述数据时间标识相匹配的存储区间,作为目标存储区间;

将所述待存储数据存入所述目标存储区间。

6.根据权利要求5所述的方法,其特征在于,所述Hbase表中存储区间包含有存储单元;

所述将所述待存储数据存入所述目标存储区间,包括:

将所述待存储数据随机存入所述目标存储区间所包含的存储单元中。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州海康威视数字技术股份有限公司,未经杭州海康威视数字技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010430568.2/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top