[发明专利]单一存储池的差量日志式纠删码更新方法有效
申请号: | 201610710868.X | 申请日: | 2016-08-23 |
公开(公告)号: | CN107766170B | 公开(公告)日: | 2021-04-09 |
发明(设计)人: | 陈付;陕振;张淑萍 | 申请(专利权)人: | 北京计算机技术及应用研究所 |
主分类号: | G06F11/10 | 分类号: | G06F11/10 |
代理公司: | 中国兵器工业集团公司专利中心 11011 | 代理人: | 刘东升 |
地址: | 100854*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 单一 存储 日志 式纠删码 更新 方法 | ||
1.一种单一存储池的差量日志式纠删码更新方法,其特征在于,包括以下步骤:
S1、主对象存储设备接收客户端的纠删码数据更新请求,根据数据定位方法确定更新的数据块Di的节点和相应的更新偏移位置o,接着将更新偏移位置o和更新的数据发送到Di的节点;i∈{ 1,2,…,k} ,i表示数据块序号,k表示数据块个数;
S2、Di的节点从本地磁盘读取数据块Di,并根据主对象存储设备发送的更新信息计算更新的数据与原始数据Di在数据块位置o处的差量即接着采用校验部分日志的策略对数据块Di进行覆盖写更新,即表示除更新部分之外的区域;最后将更新偏移位置o和数据块更新差量发送到第一个校验块P1的节点,即仅在校验块P1的节点上划分单一存储池来存放数据差量日志;所述存放数据差量日志的方法采用单一存储池的自适应管理算法实现,以动态地调整和预测每个发生更新的校验块在存储池中存储空间的大小;
S3、当需要进行校验更新融合时,P1将存储池的所有数据更新差量发送到其他各校验块P2,P3,…,Pm中,m表示校验块个数,并对所有校验块进行融合更新得到j∈{ 1,2,…,m} ,Pj'(o)和Pj(o)分别表示新校验块Pj'和旧校验块Pj在更新偏移位置o处的字,Cji为生成校验数据的系数;
步骤S2中所述单一存储池的自适应管理算法包括以下步骤:
首先,设置一个默认的初始存储空间大小,该初始存储空间大小足够大以保留所有的校验差量日志;
然后,在每个节点上周期性地执行收缩和融合操作:
其中收缩操作的频次低于融合操作,并设为条件Cond0,一个节点上的有校验部分日志的校验块集合表示为S,对第t个时间间隔,和每个校验块p∈S,用rt(p)表示第t个时间间隔内存储空间的大小,ut(p)表示第t个时间间隔内存储空间的使用率,在第t个时间间隔结束时,在获取存储空间的使用率时使用指数权重平滑均值来测量ut(p):
这里use(p)表示这个时间区段里已经使用的存储空间大小,rt(p)是校验块p当前的存储空间大小,α是平滑参数;ut-1(p)表示第t-1个时间间隔内存储空间的使用率;
根据使用率是否达到90%以及条件Cond0是否满足,确定不必要的存储空间大小c(p),这个大小是在计算收缩空间中计算出来的对应校验块p的回收存储空间大小,然后收缩不再使用的空间c(p),并将其下舍入至数据块大小的倍数:
ChunkSize表示分配的存储数据块大小,这样,在第t+1个时间间隔里校验块p的存储空间大小为:
rt+1(p)=rt(p)-c(p)
如果在收缩之前只剩下一个数据块大小的存储空间,将不再进行收缩;
当一个校验块的统一存储池空间使用率达到90%时,就进行融合操作来将所有的校验差量日志和校验块进行融合,并回收所有的存储空间,即这个校验块没有了相应的存储空间,之后产生新的校验差量日志时,重新分配存储空间。
2.如权利要求1所述的方法,其特征在于,步骤S1中,所述数据定位方法为基于可扩展哈希的复制RUSH法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京计算机技术及应用研究所,未经北京计算机技术及应用研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610710868.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种取件码生成方法、存储设备及电子设备
- 下一篇:半导体器件和半导体系统