[发明专利]一种基于网络的高效存储方法

说明书

本发明提供了一种基于网络的高效存储方法，包括:主控节点对数据节点进行监控和管理，维护整个系统的节点状态，根据地理位置将数据节点分组；将每个文件块设置一个主镜像，在主控节点中保存快照表和文件块镜像表；如果同一个事务中需要更新的信息不在一个文件块中，并且不在一个数据节点中，则从所述云存储协调中选择协调节点，负责整个事务的更新流程。本发明提出了一种基于网络的高效存储方法，对大数据进行高效处理，具有低成本、高容错性和安全性、高扩展性和高效率等特点，解决了数据扩充出现的瓶颈问题，拥有更高性能的计算能力。

技术领域

本发明涉及网络存储，特别涉及一种基于网络的高效存储方法。

背景技术

云计算是将计算、存储、软件等服务从传统的桌面电脑和服务器通过互联网搬到数据中心的计算模式。这些数据中心包含大量的IT基础设施，其所有者往往是大型的IT企业，如谷歌、亚马逊、微软、雅虎等。中小企业可以通过网络租用这些服务，而不必搭建自己的服务器系统。数据存储和管理对企业来说非常重要，然而构建安全可靠的企业数据库系统将耗费大量的资金。对企业来说，如果不采用这种按需付费的云计算模式，则不仅需要大量的购买相应的软件和硬件的资金，还必须担心软/硬件的维护问题。然而现有的云存储系统存在较低的容错性和安全性、扩展性和效率，在处理大数据的环境下急需改善。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种基于网络的高效存储方法，包括:

云存储系统主控节点对所有数据节点进行监控和管理，数据节点用于为客户端节点提供数据存储和查询以及事务处理，并且根据系统的需求为客户端节点提供计算能力；主控节点维护整个系统的节点状态、提供局部数据节点的查询、保持文件块的地址信息，将同一地理位置内的邻居数据节点作为同一组，将不同地理位置内的远程数据节点作为不同组；将每个文件块都设置一个主镜像，每个事务处理本文件块的所有镜像的更新都由主镜像控制，主控节点包含根据所述云存储系统的客户端信息生成的客户端编号的快照表，并且由此快照构成系统文件块保存的地址信息的索引，在进行全局查询时，主控节点根据该快照表的信息进行客户端信息定位，然后根据预定义策略将相应的文件块的地址返回到应用服务器，由应用服务器直接访问相应的节点，所述主控节点还保存文件块镜像表，所述文件块镜像表包括文件块编号表项和节点信息表项；如果同一个事务中需要更新的信息不在一个文件块中，并且不在一个数据节点中，则从所述云存储协调中选择协调节点，由该协调节点负责整个事务的更新流程，决定事务最后是成功提交还是失败回滚。

优选地，每个所述文件块包含以下控制信息块:

主镜像所在节点编号，即每个节点在加入云存储系统时从主控节点那里得到的自己的唯一编号，并且和自己的地址组成一个节点编号；

镜像个数，其包括主镜像和从属镜像总个数，如果为1说明没有从属镜像，如果为0说明此文件块不存在；

镜像所在节点编号列表:该列表保存所有节点编号，根据其中的节点编号查找到保存了镜像的节点地址和系统编号以进行访问。

优选地，该方法还包括：

通过代理提供文件块更新的锁控制，该代理采用完全冗余策略，通过预定义协议从代理中选出主控节点，并定期更新，在数据更新时，所有代理在主控节点的控制下同步更新，客户端和代理之间采用事件机制进行通信，客户端在本地保存一个和自身相关的代理文件的缓存，当文件在代理端发生更新时，代理通知客户端文件无效，然后客户端直接更新文件；

将来自客户端的访问进行按地理位置进行分类，并且根据客户端的IP信息通过域名服务进行分流，在同一地理位置将负载进行轮转法将当前地理位置的各个访问分流到与当前地理位置的不同的数据节点上，保持主控节点和域名服务之间的通信，主控节点根据节点自身反映的信息对域名服务中的各个节点的权值进行调整，从而调整整个系统的负载平衡。

本发明相比现有技术，具有以下优点: