[发明专利]一种低开销且无差错的冷热数据识别方法有效
申请号: | 201510395697.1 | 申请日: | 2015-07-06 |
公开(公告)号: | CN104951403B | 公开(公告)日: | 2018-01-30 |
发明(设计)人: | 许胤龙;沈标标;李永坤;潘玉彪;王能 | 申请(专利权)人: | 中国科学技术大学 |
主分类号: | G06F12/02 | 分类号: | G06F12/02 |
代理公司: | 安徽省合肥新安专利代理有限责任公司34101 | 代理人: | 汪祥虬 |
地址: | 230026 安*** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种低开销且无差错的冷热数据识别方法,特征是包括存储结构设计,地址分组过程,时效机制和数据页的冷热识别过程。该方法能够在较小时空开销下实现有效准确的冷热数据识别,易于扩展成更细粒度的多层级冷热数据识别方法。与传统的冷热数据识别方法相比,采用本发明方法既可保证较低的运行时间开销和较小的空间开销,也可避免热数据的错误识别,适用于部署到现有存储系统中,并极大地提高系统的整体性能。 | ||
搜索关键词: | 一种 开销 差错 冷热 数据 识别 方法 | ||
【主权项】:
一种低开销且无差错的冷热数据识别方法,其特征在于包括以下步骤:第一步:存储结构设计采用一组记录固定数量元数据项的列表来记录数据页的历史访问信息,其中,列表的个数记为K,每个列表中元数据项的个数记为N;元数据记录了数据页的逻辑页号信息及该逻辑页号对应的数据页的访问频次,分别占用32比特和4比特存储空间;当列表存满元数据项且有新的元数据项需要添加到列表中时,对列表使用最近最少使用算法来进行元数据项的替换,每个列表记为LRU表;第二步:地址分组存储系统整个逻辑地址空间通过一个哈希函数映射f(x)=x%K,将不同逻辑地址对应的元数据项分组存放到不同的LRU表中,以实现逻辑页号的分组,其中,K为LRU表的个数,x为某一数据页的逻辑页号,%为求余操作;第三步:数据页的冷热识别当一个访问请求到达时,首先根据访问请求的逻辑页号计算哈希值来确定其所属的LRU表,然后在相应的LRU表中查找该逻辑页号对应的元数据项是否存在,如果存在,则将其对应的访问频次值加1后判断访问频次的值是否大于预先定义的阈值,如果是,则将请求访问的数据视为热数据,否则视为冷数据;通过设定多个阈值,将访问请求的访问频次与多个阈值进行比较,来实现更细粒度的多层级冷热数据识别;在识别结果返回之前更新相应的LRU表:如果访问请求的逻辑页号存在于相应的LRU表中,则将其元数据项移到LRU表的表头以维持表的最近最少使用算法特性;如果不存在,则从LRU表的表头至表尾查找访问频次值为0的元数据项,如果找到这样的项,则将该元数据项前面的元数据项全部向尾部移一次,然后将访问请求的元数据项插入到LRU表的表头,并设定访问频次值为1,如果找不到这样的项,则以50%的概率丢弃LRU表尾部的项,然后将表中的其他元数据项全部向尾部移一次,插入访问请求的元数据项到LRU表的表头并设定访问频次值为1;第四步:时效机制元数据项中记录了某一逻辑页号对应的数据页的访问频次,对数据页的访问请求每来一次,相应元数据项中的访问频次将加1,当访问频次值达到该元数据项存储空间所能达到的最大值15,将不再被增加;每当处理固定数量的请求后,将所有LRU表中元数据项的访问频次值减半。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学技术大学,未经中国科学技术大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201510395697.1/,转载请声明来源钻瓜专利网。
- 上一篇:大数据处理方法及平台
- 下一篇:一种测量应用程序启动时间的方法及装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置