[发明专利]云存储元数据处理系统有效
申请号: | 201410015081.2 | 申请日: | 2014-01-14 |
公开(公告)号: | CN104778180B | 公开(公告)日: | 2020-03-06 |
发明(设计)人: | 茅旭峰 | 申请(专利权)人: | 上海盛大网络发展有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/22;G06F16/28;H04L29/08 |
代理公司: | 上海思微知识产权代理事务所(普通合伙) 31237 | 代理人: | 郑玮 |
地址: | 201203 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 存储 数据处理系统 | ||
1.一种云存储元数据处理系统,其特征在于,包括:
接入模块,用于提供用户数据操作的访问接口,对用户访问数据的流程进行协调、控制和异常处理;
认证模块,用于提供云存储元数据处理系统的其它各个模块间操作调用的认证服务;
元数据库,用于存储划分好的预设大小的元数据单元,每个元数据单元包含若干个元数据;
分区配置模块,用于记录当前的所有元数据单元的分区配置的信息;
分区驱动模块,用于定时对所有元数据单元的分区配置进行管理和生成分区调整指令;
终端模块,用于在数据访问流程中,提供对所述元数据库的访问支持,并进行相应的控制和优化,及根据所述分区调整指令对元数据单元的分区配置进行调整;
数据库管理模块,用于对元数据库的存储引擎进行配置和管理;
审计模块,用于对元数据请求和各种异常情况进行监控和数据收集,作为计费和系统运营、维护、优化、升级的依据;
维护模块,用于对云存储元数据处理系统的其它各个模块进行部署、运维、调整工作;
其中,所述分区驱动模块,还用于驱动一分区调整流程,在分区变化的过程中,涉及到当前配置、新配置和中间配置三种不同的配置,当前配置指目前正在使用的配置,新配置指调整后的配置,中间配置是指新旧配置切换的过渡配置;其中,分区调整流程为:分区驱动模块根据当前配置计算新配置和中间配置;将中间配置推送给分区配置模块和终端模块,并激发分区配置模块和终端模块启用中间配置、淘汰当前配置;在中间配置下分区驱动模块进行数据分区的合并、分割和动静数据融合操作;操作完成后分区驱动模块将新配置推送给分区配置模块和终端模块,并激发分区配置模块和终端模块启用新配置、淘汰中间配置。
2.如权利要求1所述的云存储元数据处理系统,其特征在于,所述认证模块根据各个模块间的调用接口性质的不同,采用不同强度的认证方式,包括:
对于外部接口调用,采用严格的AccessyKey+HMAC+SHA1的Hash认证方式;
对于内部的接口调用,采用简单的Basic Auth认证方式。
3.如权利要求1所述的云存储元数据处理系统,其特征在于,所述分区驱动模块生成的分区调整指令包括:
如果某个元数据单元包括的元数据量过多,对该元数据单元进行细化分裂的操作;
如果某些连续元数据单元的元数据数据量过少,对这些连续元数据单元进行合并操作。
4.如权利要求1所述的云存储元数据处理系统,其特征在于,所述元数据库中的每个元数据中除保存实际数据对象的具体存储位置外,也保存相应的条件检查字段和校验和。
5.如权利要求1所述的云存储元数据处理系统,其特征在于,所述元数据库为传统的数据库,所述传统的数据库本身具有高可用方案和复制方案。
6.如权利要求5所述的云存储元数据处理系统,其特征在于,所述传统的数据库为关系型数据库或NoSQL数据库。
7.如权利要求5所述的云存储元数据处理系统,其特征在于,所述元数据库中的每个元数据单元的划分同时满足如下条件:
第一,每一条元数据都单独的属于唯一的一个数据单元,所有的数据单元合到一起,形成一个完整的元数据空间;
第二,每个元数据单元内包括一个完整元数据区间;
第三,同一个用户的元数据都相互邻接的保存在连续的元数据单元中。
8.如权利要求1所述的云存储元数据处理系统,其特征在于,元数据库分为本地元数据库和异地元数据库,所述本地元数据库的数量为多个。
9.如权利要求8所述的云存储元数据处理系统,其特征在于,对于元数据的存储,若有N个本地元数据库,必须有W个写入操作和R个读取操作成功,所述接入模块才判断数据访问操作为成功。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海盛大网络发展有限公司,未经上海盛大网络发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410015081.2/1.html,转载请声明来源钻瓜专利网。