[发明专利]一种云存储中文件的归档压缩方法有效
申请号: | 201510223848.5 | 申请日: | 2015-05-05 |
公开(公告)号: | CN104915376B | 公开(公告)日: | 2019-03-26 |
发明(设计)人: | 李磊;李达港;金连文 | 申请(专利权)人: | 华南理工大学 |
主分类号: | G06F16/93 | 分类号: | G06F16/93;G06F16/11;G06F16/17 |
代理公司: | 广州市华学知识产权代理有限公司 44245 | 代理人: | 罗观祥 |
地址: | 510640 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 存储 文件 归档 压缩 方法 | ||
本发明公开了一种云存储中文件的归档压缩方法,步骤:设置归档文件大小阈值S和文件冷热程度阀值H;根据归档服务请求分发归档起点和归档终点,获取到处于归档起点和归档终点分发区间的账户;在云存储对外服务闲置时段,将各账户下访问次数少于文件冷热程度阀值H且文件小于等于归档文件大小阈值S的文件提取出来;对所提取的文件的完整性进行检验,判断所提取的文件与原文件是否一致;若否,则重新提取该文件,针对该文件的完整性进行重新检验,直到获取到与原文件相同的文件;根据文件的特性,对与原文件一致的文件进行归档压缩及存储。本发明根据据云存储中文件访问热度进行归档压缩,实现了云存储文件数目增加速度收敛和存储效益的提高。
技术领域
本发明涉及云存储平台的海量文件归档压缩的技术,特别涉及一种云存储中文件的归档压缩方法。
背景技术
云存储是在云计算概念上延伸和衍生发展出来的一个新的概念。云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(GridComputing)的发展,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术,网络服务提供者可以在数秒之内,处理数以千万计甚至亿计的信息,达到和超级计算机同样强大的网络服务。云存储是一种服务,和云计算相似,通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一整套系统。
云计算技术在生活中的应用越来越广泛,云存储作为云计算的底层支撑,集中了云计算后端架构的难点,而云存储性能的好坏将直接影响到云计算向用户提供服务的性能,也因此影响到用户的体验。在云存储基础设施服务领域,面对存储池中的海量文件,能有效的提高云存储的存储容量、减缓存储中文件数目的增长速度的同时保证存储文件的可靠性,目前仍未找到有效可行的解决方案。目前较多的云存储服务提供商的解决方案并没有对文件进行归档压缩的处理步骤,而Facebook的Haystack云存储解决方案也只是对文件进行归档,但并没有进行压缩处理,这样虽然减缓了文件数目的增长速度,但是没有节省云存储的存储容量,而过大的单个文件出现故障时的文件迁移耗时较长并且会影响集群性能。
而现有的云存储平台在后台存储中采用单文件多备份的方式进行存储,并将备份均衡地放置到不同的磁盘上,然而随着文件数的指数式增长,磁盘的读写性能会下降从而影响服务质量,存储空间也是固定的占用了文件的大小乘以备份数的容量,因此采取此种方式无法使得云存储的存储效益最优化。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种云存储中文件的归档压缩方法,该方法根据云存储中文件访问热度调整存储方式,实现了云存储文件数目增加速度收敛和存储效益的提高。
本发明的目的通过下述技术方案实现:一种云存储中文件的归档压缩方法,步骤如下:
S1、设置归档文件大小阈值S和文件冷热程度阀值H,通过归档服务进程提出归档服务请求;
S2、根据归档服务进程的归档服务请求分发归档起点和归档终点,然后获取到处于归档起点和归档终点分发区间的账户;
S3、在云存储对外服务闲置时段,归档服务进程执行任务:归档服务进程依次遍历处于归档起点和归档终点分发区间的账户,将各账户下访问次数少于文件冷热程度阀值H且文件小于等于归档文件大小阈值S的文件提取出来;
S4、对所提取的文件的完整性进行检验,判断所提取的各文件与原文件是否一致;
若否,则重新提取该文件,然后针对该文件的完整性进行重新检验,直到获取到与原文件相同的文件;
若是,则进入步骤S5;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华南理工大学,未经华南理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510223848.5/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种设置页面显示方法及终端
- 下一篇:数据处理方法及装置