[发明专利]一种文件分布式部署方法、装置、电子设备及存储介质有效
申请号: | 201811614222.7 | 申请日: | 2018-12-27 |
公开(公告)号: | CN109379448B | 公开(公告)日: | 2022-06-10 |
发明(设计)人: | 刘德峰 | 申请(专利权)人: | 深圳市网心科技有限公司 |
主分类号: | H04L67/10 | 分类号: | H04L67/10;H04L67/1097;H04L67/60;H04L67/145;H04L67/54 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518052 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文件 分布式 部署 方法 装置 电子设备 存储 介质 | ||
本申请公开了一种文件分布式部署方法,调度中心仅需将子部署任务按共享节点的身份信息分配给对应的已登录的共享节点,得到与每个共享节点对应的待部署任务,之后则是由每个共享节点主动通过调度中心的固定IP地址在调度中心查找是否有与自身身份信息对应的待部署任务,以根据取回的待部署任务获取相应的文件分片。相比于由调度中心主动向共享节点进行任务推送的现有技术,本申请所提供的技术方案是由各共享节点主动进行任务查询,因此调度中心无需再维护IP地址与节点间的对应关系,减少了调度中心的工作量、降低了负载。本申请还同时公开了一种调度装置、电子设备及计算机可读存储介质,具有上述有益效果。
技术领域
本申请涉及分布式存储技术领域,特别涉及一种文件分布式部署方法、装置、电子设备及计算机可读存储介质。
背景技术
分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
现有分布式存储系统往往将拥有较强数据存储能力的服务器作为节点分布在各地,总体来说节点数量较少,且由于作为节点的服务器会存储极大量的数据,通常会保持24小时在线,因此每个此类节点都会拥有固定的公网IP,也就是说调度重点只需要保存一次这些节点的公网IP即可通过保存的IP地址与每个节点进行文件的分布式部署。
由于分布式存储系统的发展,出现了小型化的存储节点(后文将统一称为共享节点),相较于传统拥有较强数据存储能力的服务器,其存储能力较弱,且极度分散,但同时由于其小型化的特性,能够轻易的被普通用户置于各式可联网场景下,数量可轻易升至十万甚至百万。由于现今用户家中往往会存在多台可联网设备,因此广泛采用动态IP,也就是说每台可联网设备在不同联网时间将通过不同的IP地址连接至公网,也就是调度中心需要不断的更新IP地址与共享节点间的对应关系,才能够正确的共享节点进行文件的分布式部署,增加了调度中心的工作量和负载。
发明内容
本申请的目的在于提供一种文件分布式部署方法、调度装置、电子设备以及计算机可读存储介质,旨在解决现有调度中心在沿用传统方式(即调度中心主动推送式)与数量众多的共享节点进行文件分布式部署时,需要频繁更新IP地址与共享节点间的对应关系所带来的额外工作量和负载的问题。
为实现上述目的,本申请提供了一种文件分布式部署方法,该方法包括:
接收文件部署任务,并将所述文件部署任务分解成多个子部署任务;
将与预设冗余规则对应数量的各子部署任务分配给已登陆的各共享节点,得到与每个所述共享节点对应的待部署任务;
接收各所述共享节点发来的任务查询请求,根据所述任务查询请求中包含的共享节点的身份信息向对应的共享节点返回相应的待部署任务,以使接收到待部署任务的共享节点根据所述待部署任务获取对应的文件分片。
可选的,在将与预设冗余规则对应数量的各子部署任务分配给已登陆的各共享节点前,还包括:
接收通过预设路径发来的心跳连接请求,并根据包含于所述心跳连接请求中的身份信息将对应的共享节点的连接状态记录为已登陆。
可选的,将与预设冗余规则对应数量的各子部署任务分配给已登陆的各共享节点,包括:
根据所述预设冗余规则确定每个所述子部署任务的目标部署数量;
为不同属性的各共享节点均分配所述第一数量的相同子部署任务;其中,所述共享节点的属性包括所述共享节点的所属区域和/或所属运营商,属性种类数×第一数量=所述目标部署数量。
可选的,该文件分布式部署方法还包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市网心科技有限公司,未经深圳市网心科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811614222.7/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种文件下载方法及系统
- 下一篇:数据连接方法、装置、终端及存储介质