[发明专利]一种分布式文件系统的输入/输出负载调整方法及装置有效
申请号: | 201510974893.4 | 申请日: | 2015-12-22 |
公开(公告)号: | CN106909472B | 公开(公告)日: | 2020-09-11 |
发明(设计)人: | 翟宁宁;马丽;赵广荣;李霞;任琰杰;付长冬 | 申请(专利权)人: | 中国移动通信集团河北有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14;G06F16/182 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 姚开丽;王花丽 |
地址: | 050021 *** | 国省代码: | 河北;13 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 文件系统 输入 输出 负载 调整 方法 装置 | ||
1.一种分布式文件系统的输入/输出负载调整方法,其特征在于,所述方法包括:
计算各个数据节点的节点冷热度,获取节点冷热度最大的最热数据节点的节点号和节点冷热度最小的最冷数据节点的节点号;
计算所述最热数据节点中数据块的块冷热度,获取块冷热度最大的最热数据块的位置信息;
获取所述最热数据块的备份数据块的位置信息,根据所述备份数据块的位置信息以及所述最冷数据节点的节点号,将所述备份数据块迁移到所述最冷数据节点内;
向元数据节点发送主备标识修改请求,所述主备标识修改请求中携带有将所述最冷数据节点中的备份数据块的位置信息设置为主标识,并将所述最热数据节点中的最热数据块的位置信息由原有的主标识修改为备用标识的指示;
所述计算各个数据节点的节点冷热度,包括:
按照以下公式计算获得各个数据节点的节点冷热度B:
B=M*(M2/M1)*(N2/N1);
其中,所述M为数据节点在单位时间内的输入/输出负载总量;所述M1为数据节点在单位时间内的读操作数;所述M2为数据节点在单位时间内的写操作数;所述N1为数据节点在单位时间内的读数据块总量;所述N2为数据节点在单位时间内的写数据块总量。
2.根据权利要求1所述的方法,其特征在于,所述计算所述最热数据节点中数据块的块冷热度,包括:
按照以下公式计算获得所述最热数据节点中数据块的块冷热度N:
N=X*(T1-T2);
其中,所述X为数据块在单位时间内的读写操作总数;所述T1为最近访问时间;所述T2为预设的基准访问时间。
3.根据权利要求1所述的方法,其特征在于,所述根据所述备份数据块的位置信息以及所述最冷数据节点的节点号,将所述备份数据块迁移到所述最冷数据节点内,包括:
计算各个所述备份数据块的块冷热度,获得块冷热度最小的最冷备份数据块的位置信息;
根据所述最冷备份数据块的位置信息以及所述最冷数据节点的节点号,确定所述最冷备份数据块在所述最冷数据节点内时,不进行迁移;确定所述最冷备份数据块不在所述最冷数据节点内时,将所述最冷备份数据块迁移到所述最冷数据节点内。
4.一种分布式文件系统的输入/输出负载调整装置,其特征在于,所述装置包括:
计算单元,用于计算各个数据节点的节点冷热度,获取节点冷热度最大的最热数据节点的节点号和节点冷热度最小的最冷数据节点的节点号;并计算所述最热数据节点中数据块的块冷热度,获取块冷热度最大的最热数据块的位置信息;
位置获取单元,用于获取所述计算单元计算出的块冷热度最大的最热数据块的备份数据块的位置信息;
迁移单元,用于根据所述位置获取单元获取的所述备份数据块的位置信息以及所述计算单元获取的所述最冷数据节点的节点号,将所述备份数据块迁移到所述最冷数据节点内;
发送单元,用于向元数据节点发送主备标识修改请求,所述主备标识修改请求中携带有将由所述迁移单元迁移到所述最冷数据节点中的备份数据块的位置信息设置为主标识,并将所述计算单元获取的所述最热数据节点中的最热数据块的位置信息由原有的主标识修改为备用标识的指示;
所述计算单元,具体用于按照以下公式计算获得各个数据节点的节点冷热度B:
B=M*(M2/M1)*(N2/N1);
其中,所述M为数据节点在单位时间内的输入/输出负载总量;所述M1为数据节点在单位时间内的读操作数;所述M2为数据节点在单位时间内的写操作数;所述N1为数据节点在单位时间内的读数据块总量;所述N2为数据节点在单位时间内的写数据块总量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国移动通信集团河北有限公司,未经中国移动通信集团河北有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510974893.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:应急灯(KN‑8212LA)
- 下一篇:电筒(KN‑4332)