[发明专利]分布式文件系统

说明书

技术领域

本发明实施例涉及数据备份技术，尤其涉及一种分布式文件系统。

背景技术

随着互联网向更宽更广方向发展，各行各业应用越来越多，特别是流媒体应用，内容发布网络(Content Delivery Network；以下简称：CDN)中的内容供应服务器性能及可靠性越来越重要，而承载这些应用数据的核心文件系统对性能和可靠性要求也越来越高。

对于可靠性，现有技术主要采用独立冗余磁盘阵列(Redundant Arrayof Independent Disk；以下简称：RAID)技术使用冗余备份特性保证。简单的说，RAID是一种把多块独立的硬盘(物理硬盘)按不同的方式组合起来形成一个硬盘组(逻辑硬盘)，从而提供比单个硬盘更高的存储性能和提供数据备份技术。而对于性能，现有技术通常采用分布式文件系统的存储条带化管理来叠加聚合硬盘带宽。所述的条带化为一种管理功能，其作用是将数据按一定步长分散在多个存储设备上，使得读取时并行从多个物理存储设备上获取，实现多物理存储设备性能叠加。RAID技术的数据冗余与数据条带化特性，保证了分布式文件系统的高可靠性与高性能。

一般来说，分布式文件系统可以理解成建立在一个网络存储系统上的。在高性能需求不断增加形式下，硬盘逐渐被固态硬盘取代的趋势发展，由于固态盘极为昂贵，此时采用固态硬盘备份固态硬盘的RAID技术导致了服务器成本开销剧增。RAID技术常采用RAID1与RAID5实现。其中，RAID1是第1级RAID技术，采用一种完整镜像备份，需要两个同质的存储系统同步进行读写操作，互为镜像，即使有一个磁盘损坏，系统仍能正常工作。RAID5是一种存储性能、数据安全和存储成本兼顾的存储解决方案，不对存储的数据进行备份，而是把数据和相对应的奇偶校验信息存储到组成RAID5的各个磁盘上，并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上。当RAID5的一个磁盘数据发生损坏后，利用余下的数据和相应的奇偶校验信息去恢复被损坏的数据。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：在CDN网络中，使用RAID技术存在以下缺点：同等容量，组成RAID需要更多的磁盘，特别是RAID1需要双倍的磁盘，并且固态盘极为昂贵，因而存储成本导致系统成本过高；RAID5任何数据的修改需要重写校验，导致写入数据稍慢，数据恢复时间久，可能影响业务；而且，数据备份的恢复受到损坏磁盘的数量的限制。

发明内容

本发明实施例提供一种分布式文件系统，包括：接入模块、与所述接入模块连接的元数据管理单元，以及分别与所述元数据管理单元连接的主用存储系统和备用存储系统，所述接入模块还分别与所述主用存储系统和所述备用存储系统连接；所述接入模块、所述元数据管理单元、所述主用存储系统和所述备用存储系统之间通过系统总线连接；还包括外部存储系统，所述外部存储系统通过网络与所述主用存储系统和所述备用存储系统连接；其中：

所述接入模块，用于接收读/写数据请求，向所述元数据管理单元发送元数据请求以获取所请求的数据对应的元数据，并应用所述元数据向所述主用存储系统或所述备用存储系统读写数据；

所述元数据管理单元，用于在所述接入模块请求所述元数据时，查找所请求的数据在所述主用存储系统或所述备用存储系统上的位置，并构造所述元数据，返回给所述接入模块；所述主用存储系统，用于在所述分布式文件系统处于正常状态时为所述接入模块提供所请求的数据；所述备用存储系统，用于在所述分布式文件系统处于异常状态或恢复状态时，为所述主用存储系统提供数据备份；所述外部存储系统，用于为所述主用存储系统提供数据备份。

本发明实施例提供的分布式文件系统中，通过将数据写入到主用存储系统中，采用异步备份机制备份到备用存储系统，不影响高速设备的读写性能；而且可以实现在线恢复数据，数据对外服务过程中自动实现数据恢复，加快恢复过程。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例分布式文件系统组成示意图；

图2为本发明另一实施例分布式文件系统组成示意图；

图3为本发明实施例分布式文件系统在正常状态下处理流程示意图；

图4为本发明实施例分布式文件系统在异常状态下并且为读数据请求情况下的处理流程示意图；