[发明专利]一种镜像文件管理系统在审
申请号: | 201711426456.4 | 申请日: | 2017-12-25 |
公开(公告)号: | CN109960461A | 公开(公告)日: | 2019-07-02 |
发明(设计)人: | 葛宝梁 | 申请(专利权)人: | 上海盛霄云计算技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;H04L29/08 |
代理公司: | 上海市海华永泰律师事务所 31302 | 代理人: | 包文超 |
地址: | 201210 上海市浦东新区自*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 镜像文件 控制中心 管理系统 下载调度 冷热 利用率最大化 业务逻辑控制 存储资源 弹性扩展 镜像处理 模块组成 实现文件 下载功能 下载协议 信息收集 下载 热度 副本 管理 存储 | ||
本发明涉及一种镜像文件管理系统,由控制中心、Agent模块和HDFS模块组成;控制中心主要负责镜像文件管理,下载调度管理,业务逻辑控制;Agent模块主要负责基于p2p的下载协议实现文件下载功能,信息收集,分片管理等;HDFS模块负责对镜像文件的全量存储;控制中心控制Agent模块和HDFS模块。本发明通过对镜像文件的分片和下载调度,实现镜像文件的快速下载。同时基于热度的弹性副本控制,实现存储资源的利用率最大化;冷热镜像的弹性扩展及冷热镜像处理过程可以做到不使用锁且高效。
技术领域
本发明涉及一种电子文件管理系统,尤其涉及一种镜像文件管理系统。
背景技术
在公有云的使用场景中用户创建虚拟主机需要使用镜像,此外用户还可以将自己的虚拟主机制作成镜像进行保存使用。目前的操作系统支持基础的60G系统盘,此外系统也支持可扩展自定义的系统盘。但是镜像制作出来以后动辄容量有几十G的大小,所以镜像文件的管理和调度是实现存储利用率和创建速度的关键。
发明内容
针对上述问题,本发明提出一种镜像文件管理系统,由控制中心(ICS)、Agent模块和HDFS模块组成;控制中心主要负责镜像文件管理,下载调度管理,业务逻辑控制。
Agent模块主要负责基于p2p(peer-to-peer,点对点技术)的下载协议实现文件下载功能,信息收集,分片管理等;HDFS模块负责对镜像文件的全量存储;控制中心控制Agent模块和HDFS模块。
控制中心收到上报的镜像下载量之后的处理过程为:
设定下载量平均值标准;当镜像的下载量的平均值大于下载量平均值标准上限时,增加一个镜像备份,当镜像的下载量的平均值小于下载量平均值标准下限时,减少一个镜像备份。
增加一个hash数据结构elastic_img,数据结构记录一个镜像每个part的每个备份实时下载量以及镜像有效等信息。
处理过程包括控制中心收到上报的镜像下载量的数据后,判断镜像的有效性,更新part的下载量,并判断是否要弹性扩展,若镜像无效,控制中心忽略上报的下载量信息。
处理过程包括当控制中心接收到删除镜像命令,控制中心先将镜像从elastic_img中置为无效等收到删除镜像成功的消息,再将镜像从elastic_img中删除并删除物理机。
处理过程包括不更新hostinfo中的client值,创建虚拟机时根据下载量返回下载地址时从elastic_img中提取每个备份的下载量。
本发明技术方案实现的有益效果:
通过对镜像文件的分片和下载调度,实现镜像文件的快速下载。同时基于热度的弹性副本控制,实现存储资源的利用率最大化;冷热镜像的弹性扩展及冷热镜像处理过程可以做到不使用锁且高效。
附图说明
图1是本发明一种镜像文件管理系统的示意图。
具体实施方式
下面结合附图和具体实施例,进一步阐述本发明,本发明实施例仅用以说明本发明的技术方案而非限制本发明的保护范围。
如图1,本发明提出一种镜像文件管理系统,由控制中心、Agent模块和HDFS模块组成;控制中心主要负责镜像文件管理,下载调度管理,业务逻辑控制。
Agent模块主要负责基于p2p的下载协议实现文件下载功能,信息收集,分片管理等;HDFS模块负责对镜像文件的全量存储;控制中心控制Agent模块和HDFS模块。
控制中心收到上报的镜像下载量之后的处理过程为:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海盛霄云计算技术有限公司,未经上海盛霄云计算技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711426456.4/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种分布式存储系统
- 下一篇:一种云数据处理储存系统