[发明专利]一种分布式文件系统文件读写处理方法有效
| 申请号： | 201710113816.9 | 申请日： | 2017-02-28 |
| 公开（公告）号： | CN106897440B | 公开（公告）日： | 2020-06-26 |
| 发明（设计）人： | 于鲁宪 | 申请（专利权）人： | 郑州云海信息技术有限公司 |
| 主分类号： | G06F16/182 | 分类号： | G06F16/182;G06F16/172;G06F16/17;G06F16/13 |
| 代理公司： | 济南舜源专利事务所有限公司 37205 | 代理人： | 张亮 |
| 地址： | 450000 河南省郑州市*** | 国省代码： | 河南;41 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 分布式 文件系统 文件 读写 处理 方法 | ||
本发明提供一种分布式文件系统文件读写处理方法，多个客户端对文件进行写入前，每个客户端分别向MDS申请对文件的写权限，并且每个客户端标示申请修改写权限或追加写权限，MDS授权客户端直读和直写权限；客户端将追加写或者修改写方式异步发送给MDS；MDS统计客户端读写方式，重新给客户端授权写缓存或者读缓存。将文件写权限拆分成粒度更小的追加写和修改写，针对只有追加写的情况授权给客户端写缓存权限，提高数据处理效率。
技术领域
本发明涉及分布式文件领域，尤其涉及一种分布式文件系统文件读写处理方法。
背景技术
随着计算机技术的快速发展，各种形式的信息数据量越来越大，根据行业情况不同，对数据的读写方式差异很大，在现有的文件读写权限控制下，如果多个客户端同时对一个文件进行读写，则只能采用直写和直读的方法，数据处理效率低下。
发明内容
为了克服上述现有技术中的不足，本发明提供一种分布式文件系统文件读写处理方法，方法包括：
多个客户端对文件进行写入前，每个客户端分别向MDS申请对文件的写权限，并且每个客户端标示申请修改写权限或追加写权限；
MDS接收所有客户端发送的读写权限申请，并对每个客户端申请的修改写权限或追加写权限给予授权；
MDS实时统计所有客户端的读写权限。
优选地，当某一文件被多个客户端同时使用，且只有一个客户端对所述文件进行追加写时，MDS授权该客户端写缓存权限，同时授权其他的客户端读缓存权限。
优选地，当客户端向MDS申请由追加写权限变更为修改写权限时，MDS通知该客户端释放追加写缓存权限，同时将缓存数据储存到后端存储设备。
优选地，当客户端向MDS申请由修改写权限变更为追加写权限时，MDS通知该客户端释放修改写缓存权限，同时将缓存数据储存到后端存储设备。
优选地，当客户端获得追加写权限后，进行追加写数据时，先将写入数据缓存在第一缓存中；
第一缓存数据压缩模块根据预设的压缩量将第一缓存中多个数据进行组合压缩，形成压缩数据块；
第一缓存数据压缩模块针对压缩数据块中的每个数据对应生成一元数据，元数据记录压缩前后的每个数据处于第一缓存中的位置；
将压缩数据块以及与压缩数据块相对应的元数据下发给第二缓存；
第二缓存保存压缩数据块和元数据；
当客户端的追加写权限被收回，或者客户端的追加写操作完成时，第二缓存将保存的压缩数据块和元数据保存到客户端的存储设备。
优选地，预设的压缩量的获取方式包括：第一缓存数据处理模块在第一缓存随机抽取N个数据，N为非零的自然数，对抽取的数据进行组合压缩，组合压缩后计算出N个数据的平均MD5值，将该值作为预设压缩量。
优选地，客户端申请到修改写权限或追加写权限后，客户端在客户端配额数据结构中设置预留缓存空位；预留缓存空位获取MDS分配的分配缓存空间；
MDS将总储存配额拆分为以固定大小为基本单位的单位存储空间，MDS统一分配和使用单位存储空间；
当客户端获取到修改写权限或追加写权限，且向MDS申请单位存储空间时，MDS根据客户端的申请分配单位存储空间；
客户端得到单位存储空间后，将MDS分配的单位存储空间计入用户配额数据结构中的预留缓存空位上。
优选地，客户端修改写或追加写操作时，将修改写或追加写的数据储存至预留缓存空位的单位存储空间内，当预授权空间内的单位存储空间容量不足时，向MDS发出申请，申请分配单位存储空间；
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司，未经郑州云海信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201710113816.9/2.html，转载请声明来源钻瓜专利网。
