[发明专利]分布式文件系统的海量文件写方法、装置、系统及介质有效
申请号: | 201911386425.X | 申请日: | 2019-12-29 |
公开(公告)号: | CN111177105B | 公开(公告)日: | 2022-03-22 |
发明(设计)人: | 牛勇刚;胡永刚 | 申请(专利权)人: | 浪潮电子信息产业股份有限公司 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/18;G06F16/172;G06F16/13 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 刘志红 |
地址: | 250101 山东*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 文件系统 海量 文件 方法 装置 系统 介质 | ||
1.一种分布式文件系统的海量文件写方法,其特征在于,包括:
接收用户写入的数据,并将所述数据缓存至客户端中;
判断所述客户端中当前缓存的数据总量是否达到预设的客户端缓存阈值,若达到,则确定所述用户写入的文件为大文件,将当前缓存的所有数据及之后接收到的数据全部写入至HDD磁盘中,直至接收到所述用户输入的文件关闭请求;
若未达到,则判断是否接收到所述用户输入的文件关闭请求,若收到,则确定用户写入的文件为小文件,将当前缓存的所有数据写入至SDD磁盘中;若未收到,则返回执行所述接收用户写入的数据,并将所述数据缓存至客户端中的步骤;其中:
还包括:
当将所述客户端中当前缓存的所有数据写入至相应的磁盘后,删除所述客户端中当前缓存的所有数据。
2.根据权利要求1所述的分布式文件系统的海量文件写方法,其特征在于,在所述接收用户写入的数据,并将所述数据缓存至客户端中之前,还包括:
接收用户输入的文件创建指令后,从元数据服务器中查询预先存储的小文件策略信息,所述小文件策略信息包括小文件大小阈值;
依据所述小文件策略信息确定所述客户端缓存阈值。
3.根据权利要求2所述的分布式文件系统的海量文件写方法,其特征在于,在接收用户输入的文件创建指令之前,还包括:
接收到用户输入的小文件策略信息,并将所述小文件策略信息发送至所述元数据服务器进行存储。
4.一种分布式文件系统的海量文件写装置,其特征在于,包括:
第一接收模块,用于接收用户写入的数据,并将所述数据缓存至客户端中;
第一判断模块,用于判断所述客户端中当前缓存的数据总量是否达到预设的客户端缓存阈值,若达到,则触发第一写入模块;若未达到,则触发第二判断模块;
所述第一写入模块,用于确定所述用户写入的文件为大文件,将当前缓存的所有数据及之后接收到的数据全部写入至HDD磁盘中,直至接收到所述用户输入的文件关闭请求;
所述第二判断模块,用于判断是否接收到所述用户输入的文件关闭请求,若收到,则触发第二写入模块;若未收到,则触发所述第一接收模块;
所述第二写入模块,用于确定用户写入的文件为小文件,将当前缓存的所有数据写入至SDD磁盘中;其中:
还包括:
删除模块,用于当将所述客户端中当前缓存的所有数据写入至相应的磁盘后,删除所述客户端中当前缓存的所有数据。
5.根据权利要求4所述的分布式文件系统的海量文件写装置,其特征在于,还包括:
查询模块,用于接收用户输入的文件创建指令后,从元数据服务器中查询预先存储的小文件策略信息,所述小文件策略信息包括小文件大小阈值;
确定模块,用于依据所述小文件策略信息确定所述客户端缓存阈值。
6.根据权利要求5所述的分布式文件系统的海量文件写装置,其特征在于,还包括:
第二接收模块,用于接收到用户输入的小文件策略信息,并将所述小文件策略信息发送至所述元数据服务器进行存储。
7.一种分布式文件系统的海量文件写系统,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至3任意一项所述分布式文件系统的海量文件写方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3任意一项所述分布式文件系统的海量文件写方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮电子信息产业股份有限公司,未经浪潮电子信息产业股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911386425.X/1.html,转载请声明来源钻瓜专利网。