[发明专利]基于网络存储设备集群的数据分布式存储方法及装置有效
申请号: | 201910385874.6 | 申请日: | 2019-05-09 |
公开(公告)号: | CN110149384B | 公开(公告)日: | 2022-06-24 |
发明(设计)人: | 秦江波 | 申请(专利权)人: | 北京猫盘技术有限公司 |
主分类号: | H04L67/104 | 分类号: | H04L67/104;H04L67/1042;H04L67/1097 |
代理公司: | 北京知果之信知识产权代理有限公司 11541 | 代理人: | 唐海力 |
地址: | 100094 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 网络 存储 设备 集群 数据 分布式 方法 装置 | ||
1.一种基于网络存储设备集群的数据分布式存储方法,其特征在于,包括:
在多个网络存储设备之间建立第一连接;以及
在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群;
在预设服务器和多个所述网络存储设备之间建立第二连接之后还包括:将数据进行分块、分发的步骤,所述将数据进行分块、分发的步骤具体包括:
在所述分布式存储集群中的所述网络存储设备根据所述预设服务器上配置的分块策略,对所述数据进行冗余纠错编码得到编码数据对象;
利用文件分块算法将所述编码数据对象划分为多个数据分块存储在第N个网络存储设备,并将冗余存储至第N+1个和/或第N+2个网络存储设备中,其中,N为自然数;
将用于数据分块存储的所述网络存储设备和相应的存储位置,记录在所述预设服务器,以使所述预设服务器可根据所述存储位置进行寻址;
在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群后,建立数据的分块分发策略,所述分块分发策略的建立方法具体包括:
通过在预设服务器初始化后配置预设参数的多维度权重;预设参数为多维参数,兼顾分布式存储节点公平性、冗余性、可靠性和性能参数;
获取每个所述网络存储设备上报的预设参数;网络存储设备上公平性是指存储空间大小和冗余文件分块占用空间大小参数,网络存储设备上冗余性是指文件分块的存储冗余情况,网络存储设备上可靠性是指节点数据规模、节点在线情况,网络存储设备上性能参数包括CPU型号、内存大小、硬盘大小、硬盘类型、上行带宽、下行带宽;
根据预设参数和所述多维度权重,对每个所述网络存储设备打分;
将所述数据的分块优先分发至获取打分分值高的所述网络存储设备。
2.根据权利要求1所述的数据分布式存储方法,其特征在于,
在多个网络存储设备之间建立第一连接包括:
在多个网络存储设备之间建立P2P,Peer-to-Peer连接;
在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群包括:
在预设服务器和每个所述网络存储设备之间建立长连接,以使所述网络存储设备组成分布式存储集群。
3.根据权利要求1所述的数据分布式存储方法,其特征在于,在多个网络存储设备之间建立第一连接包括:
在多个网络存储设备之间建立P2P连接;
在预设服务器和多个所述网络存储设备之间建立第二连接,以使所述网络存储设备组成分布式存储集群包括:
在至少包括索引和信令的服务器和每个所述网络存储设备之间建立长连接,以使所述网络存储设备组成分布式存储集群。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京猫盘技术有限公司,未经北京猫盘技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910385874.6/1.html,转载请声明来源钻瓜专利网。