[实用新型]基于MPI的并行文件传输服务器群系统

说明书

技术领域

本实用新型涉及网络数据传送系统，具体为基于MPI的并行文件传输服务器群系统。

背景技术

自第一台计算机问世半个世纪以来，计算机技术已发生了五次飞跃。其主要标志有两个：一个是计算机元器件，另一个是系统体系结构。从第一代到第五代计算机，计算机元器件发生了根本的变化：从电子管、晶体管发展到集成电路，而集成电路又从小规模、中规模、大规模发展到超大规模。系统体系结构的不断改进，许多重要的概念不断提出并得到实现，这推动了计算机技术向更高的层次发展。从早期的变址寄存器、通用寄存器、程序中断和I/O通道等概念，到虚拟存储器、Cache存储器、微程序设计、系列机、基于总线的多CPU系统、向量处理机等概念，再发展到64位RISC处理器、基于MPP、NUMA、集群等体系结构的可伸缩并行处理系统，计算机技术得到了突飞猛进的发展。

在科学计算领域中，人们开始通过使甩由普通PC机或工作站构建的集群系统来代替昂贵的超级计算机。比较成功的例子是高性能集群系统Beowulf，它最初是由NASA的Goddard Flight Center进行开发的，主要目的是支持大规模的科学计算问题，如地球和太空科学面临的一些计算问题。

集群cluster就是一组计算机，它们作为一个整体向用户提供计算服务。这些单个的计算机称为集群的节点node。一个理想的集群是：用户从来不会意识到集群系统底层的节点，在用户看来，集群是一个系统，而非多个独立的计算机。集群系统的管理员可以随意增加和删改集群系统的节点。集群系统采用的操作系统主要有VMS、UNIX、WindowsNT和Linux等。

随着Linux系统健壮性不断增强，并且提供了GNU软件和标准化的PVM、MPI消息传递机制，最重要的是Linux在普通PC机上提供了对高性能网络的支持，推动了基于Linux的集群系统的快速发展。

与单一主机相比，集群的主要优点是：

可扩展性：集群系统不局限于单一的主机节点，新的节点可以动态地加入到集群，从而增强集群的性能。

高可用性：集群中的一个节点失效，它的任务可以传递给其他节点，从而能有效防止单点失效。

高性能：一些计算密集型应用，如：天气预报，核试验模拟等，需要计算机有很强的运算处理能力。但是，现有的技术使得大型机也很难胜任这些计算任务。这时，一般使用计算机集群技术，集中几十台甚至上百台计算机的运算能力来满足要求。提高计算能力一直是集群技术研究的一个重要目标之一。

高性价比：可以采用廉价的符合工业标准的硬件构造高性能的系统。在达到同等性能的条件下，采用计算机集群比采用同等运算能力的大型计算机具有更高的性价比。

为了具有可扩展性和高可用性的特点，集群必须具备以下两大能力：第一是负载均衡，能把任务比较均衡地分布到集群环境下的计算和网络资源中去。第二是健壮性，执行任务的某一节点出现故障后，集群中的另一节点能继续完成任务。

负载均衡和健壮性都要求各节点中有执行同一任务的资源存在，而且对于同一任务的各个资源来说，执行任务所需的环境必须是一样的。

实现集群系统必须具有的两大技术是集群地址和内部通信。集群由多个节点组成，集群客户端通过访问集群地址获取集群系统所提供的服务。具有单一集群地址是集群的基本特征之一。为了能协同工作、实现负载均衡和错误恢复，集群各节点间需要进行通信。例如，负载均衡器对节点进行心跳测试，节点间交换作业执行状态等。

具有同一个集群地址使得客户端能访问集群提供的计算服务，一个集群地址下隐藏了各节点的内部地址，并能将客户要求的计算作业提交到各节点上。内部通信是集群能正常运转的基础，它使得集群具有负载均衡和错误恢复的能力。

1977年，DEC公司推出了以VAX为结点机的松散耦合的集群系统，并成功地将VMS操作系统移植到该系统上。20世纪90年代以来，随着RISC技术的发展和高性能网络产品的出现，集群系统在性能价格比(Performance/Cost)、可扩展性(Scalability)、可用性(Availability)等方面都显示出了很强的竞争力，尤其是它在对现有单机上的软硬件产品的继承和对商用软硬件最新研究成果的快速运用方面表现出了传统大规模并行处理机MPP无法比拟的优势。