[发明专利]基于分布式虚拟机管理器的分布式cache系统及其工作方法

说明书

技术领域

本发明涉及分布式虚拟机管理器，尤其涉及基于分布式虚拟机管理器的分布式cache(高速缓冲存储器)系统及其工作方法。

背景技术

随着网络技术的发展，单个机器上的内存已经越来越不能够满足请求的内存需求，特别是对cache而言，内存空间严重不足。在这种情况下，基于分布式哈希表(DHT)的cache策略成为了cache的主流，这样，更多的用户都可以访问存储于地理分布的站点上的大量信息。

DHT是从对等网络(Peer-to-Peer，简称P2P)的研究中引入的。P2P技术把网络中不同的计算机连接在一起，并可以充分利用互联网和Web站点中任何地方的资源。P2P系统具有自治性、分布性和动态性，具有自组织、容错性好、可扩展性强等优点，但其存在的问题是：如何在没有集中管理机制的情况下实现系统的自组织和自管理？

在结构化P2P系统解决了这个问题，每个节点只存储特定的信息或特定信息的索引。当用户需要在P2P系统中获取信息时，他们必须知道这些信息(或索引)可能存在于哪些节点中。由于用户预先知道应该搜索哪些节点，避免了非结构化P2P系统中使用的泛洪式查找，因此提高了信息搜索的效率。

但是，结构化P2P也引入了新的问题：

1、既然信息是分布存储的，那么如何将信息分布存储在重叠网中的节点上？

2、由于节点动态的加入和离开重叠网，如何将拓扑的变更信息通知其它节点？

分布式哈希表(DHT)的引入基本解决了上述问题，因此自从DHT协议出现以后，结构化P2P的应用得到了快速的发展。目前已经有很多较为成熟的DHT协议被提出并且得到了应用。

DHT使用分布式哈希算法来解决结构化的分布式存储问题。其主要思想是：首先，每条文件索引被表示成一个(K，V)对，K称为关键字，可以是文件名(或文件的其他描述信息)的哈希值，V是实际存储文件的节点的IP地址(或节点的其他描述信息)。所有的文件索引条目(即所有的(K，V)对)组成一张大的文件索引哈希表，只要输入目标文件的K值，就可以从这张表中查出所有存储该文件的节点地址。然后，再将上面的大文件哈希表分割成很多局部小块，按照特定的规则把这些小块的局部哈希表分布到系统中的所有参与节点上，使得每个节点负责维护其中的一块。这样，节点查询文件时，只要把查询报文路由到相应的节点即可(该节点维护的哈希表分块中含有要查找的(K，V)对)。这里面有个很重要的问题，就是节点要按照一定的规则来分割整体的哈希表，进而也就决定了节点要维护特定的邻居节点，以便路由能顺利进行。这个规则因具体系统的不同而不同，CAN，Chord，Pastry和Tapestry都有自己的规则，也就呈现出不同的特性，有查找可确定性、简单性和分布性等优点，正成为国际上结构化P2P网络研究和应用的热点。

DHT的应用非常简洁——API简单到只有一项输入和一项输出：应用层将数据对象(文件、数据块或索引)通过哈希算法获得键值，将该键值提交给DHT后，返回结果就是键值所在节点的IP地址。

DHT的特征使得它被广泛地运用到了cache系统中，即将cache文件的标识(如文件路径等)通过哈希算法映射到对应的IP地址中，即构建从文件标识到IP地址的cache索引。

当新的cache文件查询请求进入系统时，其文件查找步骤如下：

A、通过哈希算法获得键值；

B、将该键值提交给DHT，从中得到键值所在节点的IP地址。如果文件在本地，则直接从本地读取文件；如果文件不在本地，则转入步骤C；

C、根据获得的IP地址，请求所在机器与文件所在机器通信，取回请求所需的文件至本地；

D、将文件返回给请求。

这样，采用DHT的cache系统在节点失效、遭受攻击和突发性高负载面前都能表现出很好的健壮性；它具有良好的可扩展性，能以较低系统开销获得较大的系统规模。但是，其中也存在一些问题：

1、应用层需要到别的节点上去获取文件信息，这就需要按照分布式哈希表来与别的节点进行通信(很可能不止一跳)，这就需要应用层维护复杂的网络协议，并带来大量的网络开销；

2、不同的节点可能分布在不同的网络中，因此在信息传输过程中容易加速病毒的传播。

发明内容

为了解决上述的技术问题，提供了基于分布式虚拟机管理器的分布式cache系统及其工作方法，其目的在于，解决现有基于DHT的分布式cache系统中应用层需维护复杂网络协议，以及通信过程中的病毒传播问题。