[发明专利]一种基于配置的自适应分布式存储系统的数据分片方法有效
申请号: | 201610932807.8 | 申请日: | 2016-10-31 |
公开(公告)号: | CN106527981B | 公开(公告)日: | 2020-04-28 |
发明(设计)人: | 余晓阳;路松峰;王同洋;黄炎;刘儒君;廖卫国 | 申请(专利权)人: | 华中科技大学 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 武汉东喻专利代理事务所(普通合伙) 42224 | 代理人: | 方可 |
地址: | 430074 湖北*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于配置的自适应分布式存储系统的数据分片方法,将分片相关信息作为配置信息保存在配置信息存储模块;自动对配置信息进行维护和更新;拟上传数据时,根据配置获得当前所有分片的节点状态、磁盘容量、已写入数据量的信息;根据这些信息采用随机算法计算确定最优的分片序号;为保证数据的安全性,每个分片都配置为一个多副本的集群,数据块副本分发到分片内的多个节点上存储;解决了分布式存储系统中数据重新分布造成的数据震荡、无法实时感知磁盘容量的问题。 | ||
搜索关键词: | 一种 基于 配置 自适应 分布式 存储系统 数据 分片 方法 | ||
【主权项】:
一种基于配置的自适应分布式存储系统的数据分片方法,其特征在于,所述自适应分布式存储系统包括存储代理服务器、分片集群和配置信息存储模块;所述数据分片方法包括以下步骤:(1)将拟上传到分布式存储系统的数据发送到存储代理服务器;并通过存储代理服务器从配置信息存储模块查询存储节点的配置信息,获取当前所有分片的IP地址、存储容量、最大阈值、已存储数据大小以及是否可写入;(2)通过存储代理服务器找出所有可写入的分片;并根据可写入的分片的已存储数据量、存储容量和阈值,建立可写入分片列表;(3)采用随机算法从可写入分片列表中选取待写入的分片;(4)通过存储代理服务器根据将拟上传数据写入待写入的分片;(5)当数据写入动作完成,通过所述分片将存储数据对应的ID、所占用存储空间大小反馈给存储代理服务器;(6)通过存储代理服务器根据所占用存储空间大小更新配置信息存储模块中存储的配置信息;所述配置信息包括分片被占用的存储空间的大小;当分片被占用存储空间的大小超过阈值,则将所述分片设置为不接受写入;所述阈值根据所述分片的最大容量以及拟预留的冗余容量确定。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华中科技大学,未经华中科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610932807.8/,转载请声明来源钻瓜专利网。