[发明专利]一种基于全联通路由层的文件存储系统

说明书

本发明公开了一种基于全联通路由层的文件存储系统，包括包括接口层、路由层、元数据服务层、缓存层和文件层；所述接口层用于提供对外文件访问接口；所述路由层用于提供星型网络的拓扑结构，所有的服务器均连接路由层；本发明涉及一套分布式的,可扩展的海量文件存储系统，通过本发明的设计,可以生产一种可靠的海量文件服务集群；相对于传统的分布式文件系统比如GFS,本发明可以做到独立的接入服务器和元数据服务器，将功能解耦合，各个服务可以并行扩展；同时本发明还具备可扩展的路由层，单个路由服务器故障不会停止服务；而且星型的基于全联通路由层的网络架构，简化了网络拓扑结构，提高网络效率。

技术领域

本发明属于文件存储领域，涉及一种全联通路由层技术，具体是一种基于全联通路由层的文件存储系统。

背景技术

数据存储设备在最初设计的时候,主要解决数据的三个方面的需求,即为数据存储、数据索引和数据检索；而单机的存储比较简单,在单个物理机器的情况下,数据存储主要依托本机的物理磁盘；

当数据量超过单个物理服务器的承载极限的时候,比如数据超过100TB,此时单个物理服务器无法承载,必须使用分布式文件存储系统.分布式文件系统能够处理,存储和索引检索海量的数据；

计算机通过文件系统管理、存储数据，而信息爆炸时代中人们可以获取的数据成指数倍的增长，可以通过增加单个计算机硬盘个数来扩展计算机文件系统的存储容量的方式，但是单个服务器容量有限,无法承载海量数据的存储

分布式文件系统可以有效解决数据的存储和管理难题：将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。

目前已有很多成熟的分布式文件系统,包括商业级别的,以及开源免费的分布式文件系统。在现有技术过程中,文件被分为固定的块,存储在多个服务器上,服务器架构分为管理服务器和节点服务器，管理服务器负责数据的接入,文件的访问接口，节点服务器用于储存文件块；

但是在实际应用中,仍有如下缺陷：

(1)传统方案中,采用单一的管理服务器即单个物理服务器，当管理服务器发生故障的时候，整个服务将不可使用；

(2)传统方案中,客户端直接连接管理服务器,使得大容量网络吞吐的时候,管理服务器,很容易成为瓶颈；

(3)传统方案中,不支持缓存层,使得高频文件的访问始终需要访问物理磁盘,效率比较低下。

发明内容

本发明设计一种可扩展的，基于全联通路由层的分布式海量存储系统,通过分层和组件化的服务器设计,可以解决当前现有的分布式文件系统的缺点,达到高效存储海量文件的目的；本发明主要提供一种基于全联通路由层的文件存储系统。

本发明的目的可以通过以下技术方案实现：

一种基于全联通路由层的文件存储系统，包括接口层、路由层、元数据服务层、缓存层和文件层；

其中，所述接口层用于提供对外文件访问接口；所述路由层用于提供星型网络的拓扑结构，所有的服务器均连接路由层；所述元数据服务层用于分布式的存储文件系统的元数据；所述缓存层用于对高频访问文件，提供基于内存的缓存服务器；所述文件层用于提供基于节点的实际的文件存储功能，且每个节点有2到4个备份；

所述路由层采用分布式路由结构，所述路由层由若干台路由服务器构成,所有的路由服务器之间进行全连接,即每台路由服务器均和其他所有的路由服务器建立长连接；