[发明专利]一种海量文件的存储方法及系统有效
申请号: | 200610061328.X | 申请日: | 2006-06-23 |
公开(公告)号: | CN101079036A | 公开(公告)日: | 2007-11-28 |
发明(设计)人: | 余祥鑫;杨海松;程凯;朱静轩 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 深圳市顺天达专利商标代理有限公司 | 代理人: | 郭伟刚;蔡晓红 |
地址: | 518057广东省深圳市高新科*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 海量 文件 存储 方法 系统 | ||
1、一种海量文件的存储方法,所述海量文件存储在多个文件服务器中,其对应的文件相关控制信息、数据块相关控制信息、文件服务器相关控制信息则存储在控制服务器,其特征在于,所述方法包括以下步骤:
将所述海量文件的文件相关控制信息组织成以文件对象为存储单元连接起来的第一层链表;
将所述海量文件的数据块相关控制信息组织成以数据块对象为存储单元连接起来的第二层链表;
将所述海量文件的文件服务器相关控制信息组织成以文件服务器对象为存储单元连接起来的第三层链表;
所述第一层链表、第二层链表和第三层链表以层递的形式关联为三层链表式数据存储结构,与所述海量文件的数据块形成映射关系;
所述控制服务器接收客户端发送的请求,根据所述三层链表式数据存储结构与所述海量文件的数据块形成的映射关系,在所述文件服务器中查找到对应文件的数据块。
2、如权利要求1所述的海量文件的存储方法,其特征在于,所述三层链表式数据存储结构内部采用数组下标进行连接。
3、如权利要求1所述的海量文件的存储方法,其特征在于,所述方法在所有步骤之前还包括以下步骤:
初始化所述三层链表式数据存储结构中的空闲链,以及第一层链表的根节点。
4、一种海量文件的存储系统,包括控制服务器子系统、文件服务器子系统和客户机子系统,所述控制服务器子系统中包括控制服务器,所述文件服务器子系统中包括多个文件服务器,所述文件服务器包括文件服务器数据块管理模块,用于存储和维护所述海量文件的数据块,所述客户机子系统中包括客户机,所述控制服务器接收所述文件服务器上报的状态信息,并根据所述客户机上应用程序执行的操作对所述文件服务器发送控制指令,其特征在于,
所述控制服务器包括数据管理模块,用于存储和维护所述海量文件的数据存储结构;
所述海量文件的数据存储结构为三层链表式数据存储结构,包括文件对象链表、数据块对象链表和文件服务器对象链表,与所述文件服务器中存储的数据块形成映射关系。
5、如权利要求4所述的海量文件的存储系统,其特征在于,所述系统进一步包括公共平台,用于实现以下功能:线程和线程池管理、互联网进程连接管理、定时器管理、加锁解锁管理、缓存管理;
所述公共平台存在于控制服务器、文件服务器和客户机的任何一者或多者之中或独立存在。
6、如权利要求4所述的海量文件的存储系统,其特征在于,所述控制服务器进一步包括:日志管理模块、备份管理模块;
所述日志管理模块用于进行日志管理,其接收所述数据管理模块和备份管理模块上报的消息,并上报消息给公共平台;
所述备份管理模块用于进行主备控制服务器之间的心跳维护和故障恢复,其上报消息给日志管理模块及公共平台。
7、如权利要求4、5或6所述的海量文件的存储系统,其特征在于,所述控制服务器为双机备份,包括主用控制服务器和备用控制服务器。
8、如权利要求4所述的海量文件的存储系统,其特征在于,所述客户机进一步包括:客户机文件描述符管理模块、客户机应用编程接口模块;
所述客户机文件描述符管理模块用于执行文件相关操作,其接收客户机应用编程接口模块提供的接口封装,并上报消息给公共平台;
所述客户机应用编程接口模块用于为所述客户机上的应用程序提供接口封装。
9、如权利要求4所述的海量文件的存储系统,其特征在于,所述文件存储系统采取双平面备份的组网结构:所述控制服务器和文件服务器均配置有绑定为负载均衡模式的双网卡,与每个平面的核心交换机相连。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/200610061328.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:多层式光学薄膜及其制造方法
- 下一篇:废水利用装置