[发明专利]一种预防集群节点间文件脑裂的方法及计算机可读介质在审
申请号: | 202011000947.4 | 申请日: | 2020-09-22 |
公开(公告)号: | CN112181901A | 公开(公告)日: | 2021-01-05 |
发明(设计)人: | 张军 | 申请(专利权)人: | 华云数据控股集团有限公司 |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/182;G06F16/23 |
代理公司: | 苏州友佳知识产权代理事务所(普通合伙) 32351 | 代理人: | 储振 |
地址: | 214000 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 预防 集群 节点 文件 方法 计算机 可读 介质 | ||
1.一种预防集群节点间文件脑裂的方法,其特征在于,包括:
运行于至少配置两个作为服务端的节点中的集群中,在向任意一个节点执行文件操作时,仅对待操作文件的片段添加分布式锁;
根据文件操作所对应的文件属性值和/或节点间的心跳检测结果确定文件操作是否成功;
将文件操作失败所对应的待操作文件的片段参比源文件执行修复。
2.根据权利要求1所述的预防集群节点间文件脑裂的方法,其特征在于,所述预防集群节点间文件脑裂的方法运行于GlusterFS分布式文件系统中,所述GlusterFS分布式文件系统连接至少一个客户端及至少两个作为服务端的节点,并在至少两个节点之间建立心跳检测。
3.根据权利要求2所述的预防集群节点间文件脑裂的方法,其特征在于,还包括:对文件操作成功所对应的待操作文件的片段释放分布式锁;
至少两个节点之间建立心跳检测的超时时间阈值设置为2~10ms。
4.根据权利要求3所述的预防集群节点间文件脑裂的方法,其特征在于,还包括:将文件操作失败所对应的待操作文件的片段加入待修复队列,并在将文件操作失败所对应的待操作文件的片段参比源文件执行修复完成后,将文件操作失败所对应的待操作文件的片段移出待修复队列,所述待修复队列运行于GlusterFS分布式文件系统;
其中,所述操作成功的文件所对应的文件属性值为0,文件操作失败的文件所对应的文件属性值为1。
5.根据权利要求4所述的预防集群节点间文件脑裂的方法,其特征在于,还包括:主动扫描或者被动扫描以确定源文件;其中
主动扫描以确定源文件具体为:人工在客户端向服务端发起扫描是否存在操作成功的文件,以将操作成功的文件定义为源文件;
被动扫描以确定源文件具体为:服务端定时扫描本地节点及异地节点,以确定是否存在操作成功的文件,以将操作成功的文件定义为源文件,其中,被动扫描的时间设置为5~10秒。
6.根据权利要求5所述的预防集群节点间文件脑裂的方法,其特征在于,还包括:将源文件的节点信息更新至操作成功的文件的属性中,以响应后续将文件操作失败所对应的待操作文件的片段参比源文件所执行的修复操作,并根据所述源文件的节点信息确定源文件的引用路径。
7.根据权利要求4所述的预防集群节点间文件脑裂的方法,其特征在于,所述将文件操作失败所对应的待操作文件的片段参比源文件执行修复包括以下子步骤:
S11、判断待操作文件的片段是否加入待修复队列;
S12、将源文件添加分布式锁;
S13、对已经加入待修复队列的待操作文件的片段确定待执行修复操作所参比的源文件所在的节点是否可以连接,
若否,则等待修复操作,
若是,则对所述待操作文件的片段参比源文件执行修复;
S14、在修复完成后解除向源文件所添加的分布式锁。
8.根据权利要求7所述的预防集群节点间文件脑裂的方法,其特征在于,所述子步骤S12还包括:
根据源文件所在节点的数据写入待执行修复操作所在节点中的情况,以全量修复或者增量修复的方式对文件操作失败所对应的待操作文件的片段进行修复;其中
当源文件所在节点的数据未写入待执行修复操作所在节点时,以全量修复的方式对文件操作失败所对应的待操作文件的片段进行修复,
当源文件所在节点的数据未完全写入待执行修复操作所在节点时,以增量修复的方式对文件操作失败所对应的待操作文件的片段进行修复。
9.根据权利要求8所述的预防集群节点间文件脑裂的方法,其特征在于,以增量修复的方式对文件操作失败所对应的待操作文件的片段进行修复时,按照设定的数据大小逐一对源文件进行比对,并仅对部分不一致的数据片段参比源文件执行修复,并将一致的数据片段同步至与文件操作失败所对应的待操作文件相同位置中并予以替换;
其中,设定的数据大小为64KB~1MB。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华云数据控股集团有限公司,未经华云数据控股集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011000947.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种高安全性的碳纤维复合材料及制备方法
- 下一篇:用于无线通信的装置和方法