[发明专利]分布式存储系统及其文件写入优化方法、客户端处理方法在审
申请号: | 201810032346.8 | 申请日: | 2018-01-12 |
公开(公告)号: | CN108427537A | 公开(公告)日: | 2018-08-21 |
发明(设计)人: | 颜新波;钱明;丁晓杰;曹敬涛;徐启亮;韩明轩 | 申请(专利权)人: | 上海凯翔信息科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 上海专利商标事务所有限公司 31100 | 代理人: | 施浩 |
地址: | 201203 上*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式存储系统 文件写入 写入 写入成功 缓存 数据写入磁盘 数据写入缓存 数据写入效率 写入性能 返回 低成本 客户端 磁盘 优化 改进 | ||
1.一种分布式存储系统的文件写入优化方法,其特征在于,包括:
客户端接收文件写请求,将文件写入到缓存中并返回写入成功的消息;
客户端在后台查找所要写入的文件在分布式存储系统中对应的服务器,接收返回的查找结果;
客户端将写入到缓存中的文件再写入到查找到的分布式存储系统的服务器的磁盘中。
2.一种分布式存储系统,其特征在于,包括至少一个客户端和多个服务器,其中客户端中安装缓存,服务器中装有磁盘,客户端将接收到的文件写请求中的文件写入到缓存中并返回写入成功的消息,然后在后台查找所写入的文件在分布式存储系统中对应的服务器并根据查找结果将写入到缓存中的文件再写入到查找到的分布式存储系统的对应的服务器的磁盘中。
3.一种对分布式存储系统的文件写入进行优化的客户端处理方法,其特征在于,分布式存储系统的架构如权利要求2所述,客户端处理方法包括:
步骤1:客户端接收文件写请求,维护一个写请求大小累加器,对本次写请求的数据大小进行累加放入累加器中;
步骤2:判断写请求中要写入的文件是否已经存在于分布式存储系统上,若不存在则先创建该文件;
步骤3:将本次写请求放入到请求队列;
步骤4:对于请求队列,判断每个请求是否为写请求,如果是写请求则将当前的请求队列中写请求累加数据大小加上本次写请求的数据大小,如果不是写请求则标记当前请求并将请求队列中的当前请求之前的所有请求全部进行刷新,其中刷新操作是指将当前请求之前的所有请求移除出请求队列以表示请求的操作已经完成;
步骤5:对请求队列中的每个请求进行处理,将不是写请求的请求标记出来,对于两个相邻的写请求进行合并,合并后的数据文件大小不超过缓存中的缓存页的大小;
步骤6:判断请求队列是否为空或第一个请求是否为写请求,若是则进入步骤7,否则进入步骤8;
步骤7:当请求队列中存在非写请求的其他请求或没有相连的写请求时对这些请求进行标记并加入到刷新队列,或步骤4中的请求队列中写请求的累加数据大小超过缓存中的窗口设定大小时将窗口内的请求加入到刷新队列;
步骤8:向用户返回写入成功的消息;
步骤9:判断步骤1中的当前写请求是否是第一次写请求,如果是则先申请刷新的窗口空间;
步骤10:计算缓存页个数和缓存数据大小;
步骤11:如果窗口个数大于设定个数,或者写请求的数据大小大于设定值,或者已经没有下个请求,则将缓存中的文件刷新到服务器的磁盘中;
步骤12:恢复非写请求的其他请求,以防止请求队列中的操作被阻塞。
4.根据权利要求3所述的对分布式存储系统的文件写入进行优化的客户端处理方法,其特征在于,窗口大小的设定范围为512KB~1GB。
5.根据权利要求3所述的对分布式存储系统的文件写入进行优化的客户端处理方法,其特征在于,采用保存日志的方式防止数据在写缓存时断电丢失。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海凯翔信息科技有限公司,未经上海凯翔信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810032346.8/1.html,转载请声明来源钻瓜专利网。