[发明专利]一种集群存储系统的数据管理方法及系统有效
申请号: | 201210276461.2 | 申请日: | 2012-08-03 |
公开(公告)号: | CN102855284A | 公开(公告)日: | 2013-01-02 |
发明(设计)人: | 刘爱贵 | 申请(专利权)人: | 北京联创信安科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 胡彬 |
地址: | 100085 北京市海淀区上*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 集群 存储系统 数据管理 方法 系统 | ||
1.一种集群存储系统的数据管理方法,该方法基于包括客户端和存储服务器集群的系统实现,包括数据存储和访问的操作,其特征在于,所述数据存储的操作包括:
利用磁盘文件系统存储元数据,数据布局以目录为基本单位进行分布并分配Hash范围,其中,文件的父目录利用扩展属性记录存储节点的映射关系,子文件在父目录所属存储节点中进行分布;
所述方法基于所述数据布局进行数据访问操作,其中,所述数据访问操作包括:
S1:客户端对数据布局信息进行感知并发出数据访问指令,集成服务器根据客户端的数据访问指令判断查找路径是否为根目录,如是,则执行步骤S2,如否,执行步骤S3;
S2:选定特定的活动节点作为目标节点进行数据访问;
S3:根据路径输入参数计算Hash值,获取数据布局信息,查找目标节点并进行数据访问。
2.根据权利要求1所述的集群存储系统的数据管理方法,其特征在于,所述方法还包括创建新目录的操作,其中,磁盘文件系统在创建新的目录时,将新建目录分布到所有存储节点上,新增节点加入数据分布并分配Hash范围。
3.根据权利要求1所述的集群存储系统的数据管理方法,其特征在于,所述方法还包括创建新文件的操作,其中,在父目录所属存储节点上新建文件时,新建文件分布到父目录所属存储节点上,新增节点不参加分布。
4.根据权利要求3所述的集群存储系统的数据管理方法,其特征在于,所述方法还包括父目录所属存储节点上文件重命名的操作,其中,在目标存储服务器上创建一个链接指向实际的存储服务器,访问时由服务器解析并进行重定向,服务器后台同时进行文件迁移,成功后文件链接被自动删除。
5.根据权利要求1所述的集群存储系统的数据管理方法,其特征在于,所述步骤S3中根据路径输入参数计算hash值包括利用Davies-Meyer算法计算文件名hash值。
6.根据权利要求1或5所述的集群存储系统数据管理方法,其特征在于,所述步骤S3中根据获取到的数据布局信息,查找目标节点包括,通过将计算得到的文件名Hash值与预先分配的Hash范围进行匹配,查找目标节点,如果找到目标节点,则在所述目标节点中查找目标文件;如果未找到目标节点,则按照设置的自动搜索模式搜索所有节点。
7.根据权利要求6所述的集群存储系统数据管理方法,其特征在于,所述按照设置的自动搜索模式搜索包括:以路径为目录,在所有节点中查找目标文件;如路径不存在,则返回错误。
8.一种集群存储系统的数据管理系统,所述数据管理系统包括客户端和存储服务器集群,其特征在于,所述客户端包括数据布局管理模块和元数据管理模块,所述存储服务器包括根目录判定模块、数据布局存储模块、查询模块;
所述数据布局管理模块用于对以目录为基本单位进行分布并分配Hash范围的数据进行管理;
所述元数据管理模块用于利用磁盘文件系统管理元数据;
所述根目录判定模块用于根据客户端发出的数据访问指令,判断查找路径是否为根目录;
所述查询模块用于根据根目录判定模块的判定结果,查找目标节点进行数据访问,如判定结果为是,则选定特定活动节点作为目标节点进行数据访问;如判定结果为否,则根据路径输入参数计算Hash值,获取数据布局信息,查找目标节点并进行数据访问;
所述数据布局存储模块用于利用磁盘文件系统存储元数据,数据布局以目录为基本单位进行分布并分配Hash范围,文件的父目录利用扩展属性记录存储节点的映射关系,子文件在父目录所属存储节点中进行分布。
9.根据权利要求8所述的集群存储系统的数据管理系统,其特征在于,所述系统还包括新建目录模块,所述新建目录模块用于将新建目录分布到所有存储节点上,新增节点加入数据分布并分配Hash范围。
10.根据权利要求8所述的集群存储系统的数据管理系统,其特征在于,所述系统还包括新建文件模块,所述新建文件模块用于将新建文件分布到父目录所属存储节点上,新增节点不参加分布。
11.根据权利要求8所述的集群存储系统的数据管理系统,其特征在于,所述系统还包括文件重命名模块,所述文件重命名模块用于在目标存储服务器上创建一个链接指向实际的存储服务器,访问时由服务器解析并进行重定向,服务器后台同时进行文件迁移,成功后文件链接被自动删除。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京联创信安科技有限公司,未经北京联创信安科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201210276461.2/1.html,转载请声明来源钻瓜专利网。