[发明专利]一种基于IP网络的数据存储方法在审
申请号: | 201510662936.5 | 申请日: | 2015-10-14 |
公开(公告)号: | CN105162891A | 公开(公告)日: | 2015-12-16 |
发明(设计)人: | 惠孛 | 申请(专利权)人: | 四川中科腾信科技有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F17/30 |
代理公司: | 北京天奇智新知识产权代理有限公司 11340 | 代理人: | 杨春 |
地址: | 610041 四川省成都市高*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 ip 网络 数据 存储 方法 | ||
技术领域
本发明涉及数据存储,特别涉及一种远程存储方法。
背景技术
近年来,网络服务都需要存储大量小文件,如图片、邮件、电子书、音乐文件、微博文本内容等。目前针对海量大文件的存储和处理系统主要存储元数据的节点和存储文件数据的节点在应用到海量小文件时,遇到很多问题:第一,海量小文件带来了大量的元数据。因为每个目录和文件的元数据信息都存放在名字节点的内存中,如果系统中存在大量的小文件,则无疑会降低整个云平台存储系统的存储效率和存储能力。第二,访问大量小文件的速度远远小于访问相同容量的几个大文件的速度。因为如果访问大量的小文件,需要不断地连接不同的数据服务器,这是一种低效的数据访问模式。而现有的面向海量小文件的云平台存储系统将小文件合并到大块中,虽然减少了小文件占用本地的节点的数目。但需要使用多个服务云平台单元完成存储文件功能,因此使得读写流程繁琐,一次读写需要建立多次网络连接。同时,也使用高负载的名字服务器,这使得现有小文件系统的可用性仍然较低。
因此,针对相关技术中所存在的上述问题,目前尚未提出有效的解决方案。
发明内容
为解决上述现有技术所存在的问题,本发明提出了一种基于IP网络的数据存储方法,包括:
云平台存储系统中设置一个主节点,每一个数据服务器周期性地向主节点发送其心跳消息,主节点接收这些消息用于管理云平台的拓扑信息;
当客户端首次云平台时,客户端访问主节点获取云平台拓扑信息并缓存在本地,在客户端进行读取和写入时,首先获取文件名,对文件名进行散列计算,并确定对应的小文件所在的数据服务器;
在确定目标文件对应的数据服务器后,对比数据服务器保存的云平台拓扑信息和客户端保存的云平台拓扑信息的版本号,如果版本号一致,则在相应数据服务器中对小文件进行读取或写入操作。
优选地,所述云平台的拓扑信息包括云平台中所有活动的数据服务器列表,及当前云平台拓扑信息的版本号;所述数据服务器列表中保存了每一个活动的数据服务器的ID和该数据服务器所监听的IP地址和端口,所述云平台拓扑信息版本号用时间戳表示,当云平台有新的数据服务器加入或者原有的数据服务器退出时,主节点重新生成一个云平台拓扑信息,并将这个云平台拓扑信息的版本号设置为当前时间戳,然后主节点将这个新的云平台拓扑信息发送到所有当前活动的数据服务器,以使所有的数据服务器保存同样的云平台全局信息。
优选地,所述数据服务器包括文件块管理单元和存取信息管理单元,所述文件块管理单元将小文件合并成大文件块,利用预先分配好较大的文件块,将新写入的小文件写入大块内,在获得小文件所在块号、小文件在块内偏移量和小文件大小信息的情况下,从一个数据服务器中检索出该小文件,所述存取信息管理单元使用键值对存储来管理文件名到存取信息的映射关系。
优选地,执行以下步骤实现小文件读取过程:
(1)如果客户端是首次访问云平台存储系统,则客户端访问主节点,请求云平台的拓扑信息,并记录到本地,在连续访问时,如果不是首次访问云平台存储系统,则客户端本地已缓存了云平台的拓扑信息;
(2)客户端对文件名进行散列,并按照一致性散列算法决定该小文件应由哪一个数据服务器进行处理;
(3)客户端访问步骤(2)中得到的数据服务器,判断客户端读请求中附带的云平台拓扑信息是否与本地数据服务器记录的云平台拓扑信息版本号一致,如果一致,转步骤(4);如果不一致,标记为需要更新;
(4)数据服务器向所述存取信息管理单元查询该小文件的文件名,检查该小文件文件名是否存在,如果存在,读取出存取信息,转步骤(5);如果不存在,则向客户端发送文件不存在消息,若步骤(3)设置了需要更新标记,则将新的云平台拓扑信息附带在文件不存在消息中,通知客户端更新缓存中的云平台拓扑信息,读操作结束;
(5)数据服务器通过步骤(4)中得到的存取信息,从文件块管理单元中读取小文件内容,并发送给客户端,如果标记了需要更新,则将新的云平台拓扑信息附带在该消息中,读操作结束。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于四川中科腾信科技有限公司,未经四川中科腾信科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510662936.5/2.html,转载请声明来源钻瓜专利网。
- 上一篇:半导体/面板厂有机废气净化的装置
- 下一篇:空气过滤器模拟装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置