[发明专利]基于分布式文件系统小文件合并的并行追加方法及系统有效
申请号: | 201610169389.1 | 申请日: | 2016-03-23 |
公开(公告)号: | CN105868286B | 公开(公告)日: | 2019-03-12 |
发明(设计)人: | 张笛;孙毓忠;宋莹 | 申请(专利权)人: | 中国科学院计算技术研究所 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/13 |
代理公司: | 北京律诚同业知识产权代理有限公司 11006 | 代理人: | 祁建国;梁挥 |
地址: | 100190 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提出基于分布式文件系统小文件合并的并行追加方法及系统,该方法包括将小文件上传到Memcache步骤,客户端上传的小文件到目标文件中,将所述小文件的名称作为key,将所述小文件的内容作为value,上传到Memcache中,将所述key写到表key_list上,所述表key_list存储在所述Memcache中,所述表key_list记录所述Memcache中存储的所有小文件的key;小文件追加到目标大文件步骤,从所述Memcache中下载所述表key_list,根据所述表key_list中所述小文件的名称与所述目标文件,构建Hash表,其中每个Hash值对应一个线性表,所述线性表中储存所述小文件,如果所述目标文件相同,则将与所述目标文件相对应的所述小文件合并。 | ||
搜索关键词: | 基于 分布式 文件系统 文件 合并 并行 追加 方法 系统 | ||
【主权项】:
1.一种分布式文件系统小文件合并的并行追加方法,其特征在于,包括:将小文件上传到Memcache步骤,客户端上传的小文件到目标文件中,将所述小文件的名称作为key,将所述小文件的内容作为value,上传到Memcache中,将所述key写到表key_list上,所述表key_list存储在所述Memcache中,所述表key_list记录所述Memcache中存储的所有小文件的key;小文件追加到目标大文件步骤,从所述Memcache中下载所述表key_list,根据所述表key_list中所述小文件的名称与所述目标文件,将所述目标文件作为Hash值,将所述小文件的名称分别存Hash表中,以构建Hash表,其中每个Hash值对应一个线性表,所述线性表中储存所述小文件,如果所述目标文件相同,则将与所述目标文件相对应的所述小文件合并。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所,未经中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610169389.1/,转载请声明来源钻瓜专利网。
- 上一篇:图文信息管理方法、装置及系统
- 下一篇:系统功能搜索方法、装置和终端设备