[发明专利]一种Hbase表中冷热数据转换方法、装置及电子设备在审
申请号: | 202010430568.2 | 申请日: | 2020-05-20 |
公开(公告)号: | CN113704346A | 公开(公告)日: | 2021-11-26 |
发明(设计)人: | 许正一;张建兴;李林森 | 申请(专利权)人: | 杭州海康威视数字技术股份有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/22 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 项京;马敬 |
地址: | 310051 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 hbase 冷热 数据 转换 方法 装置 电子设备 | ||
1.一种Hbase表中冷热数据转换方法,其特征在于,包括:
在Hbase表包含的各热存储区间中,确定从存储时段的结束时刻到当前时刻的时长大于第一预设时长的热存储区间,作为目标热存储区间,其中,所述热存储区间为在第一硬盘上存储热数据的存储区间,一个存储区间对应的存储时段表示该存储区间用于存储生成时刻位于该存储时段的数据;
将所述目标热存储区间变更为存储冷数据的冷存储区间,以使所述目标热存储区间存储的热数据转换为冷数据,所述冷存储区间为在第二硬盘上存储冷数据的存储区间,所述第一硬盘的读写性能高于所述第二硬盘的读写性能。
2.根据权利要求1所述的方法,其特征在于,所述Hbase表中每个存储区间对应有区间标识,所述区间标识为第一预设格式的字符串,从一个存储时段的结束时刻到当前时刻的时长大小,与该存储时段对应的区间标识的字符串数值的大小成反比;
所述在Hbase表包含的各热存储区间中,确定从存储时段的结束时刻到当前时刻的时长大于第一预设时长的热存储区间,包括:
基于第一预设时长,按照预设的第一编码策略,对所述当前时刻进行编码,得到基准标识,其中,所述基准标识为与所述当前时刻相差所述第一预设时长的时刻对应的所述第一预设格式的字符串;
在所述各热存储区间中,确定区间标识的字符串数值小于所述基准标识的字符串数值的热存储区间,作为目标热存储区间。
3.根据权利要求1或2所述的方法,其特征在于,所述Hbase表中存储区间包含有存储单元;
所述将所述目标热存储区间变更为存储冷数据的冷存储区间,以使所述目标热存储区间存储的热数据转换为冷数据,包括:
将所述目标热存储区间包含的存储单元的热存储策略修改为冷存储策略,以使所述目标热存储区间包含的存储单元从所述第一硬盘转移至所述第二硬盘。
4.一种数据的存储方法,其特征在于,包括:
针对待存入Hbase表中的待存储数据,确定所述待存储数据的生成时刻,所述Hbase表中包含热存储区间和冷存储区间,所述热存储区间为在第一硬盘上存储热数据的存储区间,所述冷存储区间为在第二硬盘上存储冷数据的存储区间,所述第一硬盘的读写性能高于所述第二硬盘的读写性能,所述Hbase表中每个存储区间对应有存储时段,一个存储区间对应的存储时段表示该存储区间用于存储生成时刻位于该存储时段的数据;
将所述待存储数据存入所述Hbase表中所述待存储数据的生成时刻所属的存储时段对应的存储区间。
5.根据权利要求4所述的方法,其特征在于,所述Hbase表中每个存储区间对应有区间标识,所述区间标识为第一预设格式的字符串,从一个存储时段的结束时刻到当前时刻的时长大小,与该存储时段对应的区间标识的字符串数值的大小成反比;
在将所述待存储数据存入所述Hbase表中所述待存储数据的生成时刻所属的存储时段对应的存储区间之前,还包括:
按照预设的第二编码策略,对所述待存储数据的生成时刻进行编码,得到所述第一预设格式的字符串,作为所述待存储数据的数据时间标识,一个数据的数据时间标识对应的字符串数值的大小,与该数据的生成时刻与所述当前时刻之间的时长成反比;
所述将所述待存储数据存入所述Hbase表中所述待存储数据的生成时刻所属的存储时段对应的存储区间,包括:
确定所述Hbase表中对应的区间标识与所述数据时间标识相匹配的存储区间,作为目标存储区间;
将所述待存储数据存入所述目标存储区间。
6.根据权利要求5所述的方法,其特征在于,所述Hbase表中存储区间包含有存储单元;
所述将所述待存储数据存入所述目标存储区间,包括:
将所述待存储数据随机存入所述目标存储区间所包含的存储单元中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州海康威视数字技术股份有限公司,未经杭州海康威视数字技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010430568.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:容器盖及容器
- 下一篇:基于LDPC码的编码方法、系统、介质及装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置