[发明专利]分布式文件系统多文件副本的管理方法

说明书

技术领域

本发明涉及文件副本管理技术领域，主要是一种分布式文件系统多文件副本的管理方法。

背景技术

在广域网的服务型分布式存储系统中，每个存储结点都是专门提供服务的服务器，系统的结构不会频繁变化，因此结点的稳定性比较强。然而在发生系统故障或者网络故障时，部分结点会无法提供稳定的文件服务。分布式文件系统的突出特点就是具有位置的透明性和迁移透明性，文件分布保存在不同的存储节点上，这些分布式文件系统基本满足了大规模存储系统的需要。然而在文件访问性能、系统的可靠性和稳定性等诸多方面还存在一定问题。文件的副本可以有效的提高系统的可靠性，在系统中一个或多个副本发生故障时，可以对其他的副本进行操作，保证了系统的可用性。多个副本可以有效的将访问负荷分散到多个服务器上，提供系统负载量的灵活扩展。文件副本同时提供地域上的扩展，在使用文件数据附近的地方存放一个副本，减少了访问的响应时间。

由于副本复制目标，副本复制的粒度和应用环境的差异，传统的简单副本管理方法并不能很好的应用在分布式文件系统中。目前的分布式文件系统具有动态网络环境、海量文件数据和负载均衡等特点，需要针对这些特点，研究满足要求的多文件副本管理方法。

目前国内外副本创建策略的研究中，提出了如Best Client副本创建策略，瀑布副本创建策略，缓存加瀑布创建策略和快速传播副本创建策略，这些策略针对数据网格的特点，如源数据存储于网格系统的顶层结点，网格系统具有层次性的网络拓扑结构。另外一种基于用户驱动的副本创建策略是基于域内副本衍生和域间副本扩展策略，域内副本衍生策略通过在域内衍生副本增加用户的数据访问点以实现域内文件主机的负载均衡性，域间副本扩展策略依据Popular原则即用户访问副本次数驱使副本在域间扩展，减少了用户的访问延迟和带宽消耗。

在副本的一致性维护问题上，Gnutella采用基于洪泛的副本一致性维护算法，更新初始化节点将消息通过广播的方式告诉邻接节点，其邻接节点再将此消息转发到它的下一轮邻接节点，以这种类似广度优先搜索的方式将更新消息传送到网络中所有的副本。有一种基于副本链(Replica Chain)的副本一致性维护算法，更新消息通过副本链传递，网络中每个节点是副本链中的一个点，每次更新消息传递给链中邻近的k个节点，这种方法可以有效地减少冗余消息的产生，但是每个节点必须维护一个周围节点的副本链，在无结构分散P2P网络中，节点只知道其直接相连的邻节点，构造和维护一个副本节点链带来了额外消息交互开销。CFS是采用了chord查找方式的结构化P2P系统，其中存储以文件块为单位，文件块副本放置在通过哈希得到的结点以及该结点在chord环中的k个直接后续上。同时通过系统维护来保证k个后续上始终存在副本，即使有结点加入或退出。由于后续的k个相邻结点在物理地址上不太可能相邻，提高了利用副本的可靠性。用户来下载时，将返回k个副本的地址以及它们到用户的下载速率估计，由用户选择最佳副本进行下载。

当前已有的文件副本创建和一致性维护方法都具有相应的局限性，仅适合于数据网格或结构化的P2P网络，对于分布式文件系统，需要一种灵活的文件副本创建、定位、选择和维护方法。

发明内容

本发明要解决上述技术所存在的缺陷，提供一种分布式文件系统多文件副本的管理方法，弥补当前分布式文件系统副本创建和维护的局限性和不足，对现有的副本管理方法和策略进行改进。

本发明解决其技术问题所采用的技术方案：这种分布式文件系统多文件副本的管理方法，采用基于频率的副本管理机制FRM(Frequency Based Replication Management)，根据文件的读写访问频率和访问来源的信息动态改变文件副本的状态，通过文件副本数量的动态增减和存储位置的迁移，实现最佳的系统服务性能，并减少过多副本占用存储资源的问题。具体包括副本粒度管理、副本创建策略、副本选择和定位、副本的一致性维护方法；文件副本的创建方法包括用户发起的创建和结点发起的创建，这两种创建策略解决了系统缺省创建副本的盲目性和低利用率。本发明采用数据网格的方法和基于利润驱动的策略，解决了分布式文件系统的副本创建问题。副本的定位提供将逻辑文件映射到一个合适的副本上，选择代价最小和访问效率最高的副本提供给用户使用；副本的一致性维护方法采用了订阅副本树的方法管理副本的一致性。