[发明专利]文件传输方法、装置及分布式集群文件系统有效
申请号: | 201310695160.8 | 申请日: | 2013-12-17 |
公开(公告)号: | CN104092719A | 公开(公告)日: | 2014-10-08 |
发明(设计)人: | 张磊 | 申请(专利权)人: | 深圳市腾讯计算机系统有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 关文魁 |
地址: | 518000 广东省深圳市南*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文件传输 方法 装置 分布式 集群 文件系统 | ||
1.一种分布式集群文件系统,其特征在于,包括:
分布式协调节点集群,所述分布式协调节点集群包括多个协调节点,所述多个协调节点之间共享信息,所述分布式协调节点集群用于创建待传输文件信息;
文件存储节点集群,所述文件存储节点集群包括多个存储节点,所述文件存储节点集群用于存储待传输文件;
推送节点集群,所述推送节点集群包括主推送节点和至少一个从推送节点,所述主推送节点用于根据所述待传输文件信息和至少一个从推送节点的心跳信息,确定所述至少一个从推送节点中保存有待传输文件,所述心跳信息至少携带从推送节点所保存的文件信息,所述待传输文件为所述至少一个从推送节点从所述文件存储节点集群中拉取;
所述主推送节点还用于生成文件传输路径,所述文件传输路径包括至少一个目的节点集群;
所述主推送节点还用于向所述至少一个从推送节点发送所述文件传输路径,使得所述至少一个从推送节点根据所述文件传输路径将所述待传输文件发送至所述至少一个目的节点集群;
所述至少一个目的节点集群,每个目的节点集群包括多个目的节点。
2.根据权利要求1所述的系统,其特征在于,
所述主推送节点用于获取已生成的文件传输路径,当所述已生成的文件传输路径中包括第一目的节点集群时,从所述已生成的文件传输路径中删除所述第一目的节点集群,将删除后的文件传输路径作为当前文件传输路径,所述第一目的节点集群为所述主推送节点在预设周期内未接收到心跳信息的目的节点集群;和/或,
所述主推送节点用于获取已生成的文件传输路径,当根据所述已生成的文件传输路径中包括第二目的节点集群时,从所述已生成的文件传输路径中删除所述第二目的节点集群,将删除后的文件传输路径作为当前文件传输路径,所述第二目的节点集群为当前正在执行传输任务的目的节点集群;和/或,
所述主推送节点用于根据目的节点的心跳信息,获取当前文件传输路径,所述文件传输路径包括第三目的节点集群,所述第三目的节点为处于空闲状态的目的节点集群;和/或,
所述主推送节点用于根据对所述待传输文件的数据请求,获取当前文件传输路径,所述文件传输路径中的至少一个目的节点集群包括发送所述数据请求的目的节点集群。
3.根据权利要求1所述的系统,其特征在于,所述从推送节点的心跳信息还携带所述从推送节点的节点状态信息,
所述主推送节点用于根据所述至少一个从推送节点的节点状态信息,从所述至少一个从推送节点中获取一个处于空闲状态的从推送节点;
所述主推送节点向所述处于空闲状态的从推送节点发送所述文件传输路径。
4.根据权利要求1所述的系统,其特征在于,所述主推送节点由多个推送节点根据临时节点序列号选举得出,所述临时节点序列号由分布式协调系统分配。
5.根据权利要求1所述的系统,其特征在于,所述从推送节点用于检测分布式协调节点集群所创建的所述待传输文件信息,当根据所述待传输信息确定所述从推送节点中不包括所述待传输文件时,从所述文件存储节点集群中拉取所述待传输文件。
6.根据权利要求1所述的系统,其特征在于,所述系统还包括数据库,
所述主推送节点还用于接收所述文件传输路径中多个目的节点发送的文件传输的进度信息,并将所述文件传输的进度信息写入数据库中。
7.根据权利要求1所述的系统,其特征在于,所述目的节点用于当接收到待传输文件的数据包时,向所述文件传输路径中的下一个目的节点发送接收到的数据包;或,
所述目的节点用于当接收到待传输文件的数据包时,向与所述目的节点属于同一个目的节点集群的其他目的节点中的任一个发送接收到的数据包。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市腾讯计算机系统有限公司,未经深圳市腾讯计算机系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310695160.8/1.html,转载请声明来源钻瓜专利网。