[发明专利]一种基于库复制的分布式存储系统有效
申请号: | 201611209488.4 | 申请日: | 2016-12-23 |
公开(公告)号: | CN106844487B | 公开(公告)日: | 2018-09-25 |
发明(设计)人: | 杜敬;田媛;楚涌泉;刘斌;张丽 | 申请(专利权)人: | 航天星图科技(北京)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京安博达知识产权代理有限公司 11271 | 代理人: | 徐国文 |
地址: | 101399 北京市顺义区国*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 复制 分布式 存储系统 | ||
1.一种基于库复制的分布式存储系统,其特征在于,该系统包括:
多个数据端,多个镜像服务器,控制服务器;在控制服务器的控制下,将数据端中的数据保存到一个或多个镜像服务器中;
控制服务器用于根据数据端的优先级和所保存的文件信息确定分库策略,并将该分库策略提供给数据端;还用于对每个数据端的运行状态进行监测,当数据端发生故障时,控制镜像服务器根据其保存的库数据对故障数据端进行数据恢复;
数据端用于在设定时刻到来时向控制服务器发送镜像请求,还用于存储业务数据,根据控制服务器发送的分库策略进行文件分库,和所分配的镜像服务器建立端口绑定关系;基于该端口绑定关系进行库包含的文件数据的恢复;还用于建立文件和库对照表、库目录表,并将该表信息保存在本地存储空间和控制服务器中;
镜像服务器用于通过所建立的端口绑定关系,基于文件和库对照表、库目录表,将库数据恢复到数据端的文件所在原始位置;
其中,将文件编号和文件在数据端的物理位置、文件所在的库、文件在库中的位置关联保存在文件和库对照表中;将库及其包含的文件编号、文件在库中的位置保存在库目录表中;
具体的:根据数据端标识ID从本地预存的数据端标识ID和数据端优先级PR之间的对应表获取该数据端的优先级PR;
基于该优先级PR和文件平均大小FS,根据公式(1)计算文件分库基准值Z;考虑到文件大小较大时,应当将文件尽量分派到不同的镜像服务器以提高文件的修复速度,同时当数据端优先级较高时,将文件分配到多个镜像服务器可以提高文件的修复速度,从而给高优先级用户更好的修复体验,因此,对高优先级数据端和大文件镜像提供更高的基准值从而提高文件的分散度,以保证数据的安全性和恢复速度;
分库基准值的最大值Zmax根据公式(3)计算得到;
Zmax=FS×n/∑(CP/NM)×Rmax×w 公式(3)
其中,CP为一个镜像服务器的可用空间大小,∑(CP/NM)为所有可用镜像服务器的平均可用空间大小;NM为可用镜像服务器总数;Rmax最大冗余份数,w为调节系数,可以由控制服务器根据当前镜像服务器运行状况来预设,镜像服务器运行状况包括:镜像服务器可用计算资源,可用端口,可用存储资源;当冗余份数过多时,数据端不能提供足够的端口进行并行恢复,且安全性也不能再提高更多,因此,可以根据经验来设置该Rmax值;
冗余份数基准值R由控制服务器根据当前可用镜像服务器个数或系统中镜像服务器总数来设置;R是可以动态调节的;
(3)数据端根据文件分库基准值Z进行文件分库,并计算库Lj的冗余份数Rj;具体的:数据端的数据以文件为组织单位进行顺序编号;顺序编号后的文件为:F1,F2,···,Fi,···,Fn;其中,n为数据端总的文件个数;将n个文件分为Z个库文件,L1,L2···,Lj,···LZ;其中:Fi将被分配到库LimodZ中;根据公式(2)计算库Lj的冗余份数Rj,其中NLj为库文件Lj中文件的数量,FPRj,k为库Lj中的第k个文件Lj,k的文件优先级,FPRmax为最高文件优先级;
文件优先级由数据端根据文件重要程度来设置,或者在提交文件基本信息后由控制服务器设置;FPRmax为最高文件优先级,由控制服务器统一设置;预设数量由控制服务器预先设置。
2.根据权利要求1所述的基于库复制的分布式存储系统,其特征在于,数据端为业务端或业务服务器,用户将业务数据保存在该数据端中。
3.根据权利要求1-2任一所述的基于库复制的分布式存储系统,其特征在于,监控获取针对数据端的数据产生高峰时间段,将高峰时间段过去后的第一时刻设置为设定时刻。
4.根据权利要求1-2任一所述的基于库复制的分布式存储系统,其特征在于,数据端将数据量达到预设值的时刻设置为设定时刻。
5.根据权利要求1所述的基于库复制的分布式存储系统,其特征在于,将预设周期到达后的第一时刻设置为设定时刻。
6.根据权利要求1所述的基于库复制的分布式存储系统,其特征在于,所述镜像服务器支持全量和增量数据镜像。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于航天星图科技(北京)有限公司,未经航天星图科技(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611209488.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种多功能足球自我训练垫
- 下一篇:一种助跑器