[发明专利]支持混合云存储应用的分布式文件系统及实现方法

说明书

技术领域

本发明属于通信技术领域，尤其涉及一种支持混合云存储应用的分布式文件系统及实现方法。 

背景技术

云状存储系统是指通过集群、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。云状存储系统中的所有设备对使用者来讲都是完全透明的，任何地方的任何一个经过授权的使用者都可以通过网络与云状存储系统连接，对其进行数据访问。 

随着高性能计算及云计算技术的推广，国内众多城市已经或者计划建设超级计算中心和云计算中心。但从使用方式来看，超级计算中心往往还是采用传统的运营模式，即将运营的超级计算机部署在专有局域网环境，由管理员统一调度和配置，其上运行的高性能计算应用一般都具有计算密集或者数据密集等特点。而目前的云计算中心则不仅要能基于局域网下提供的资源访问服务（也即私有云服务），而且要能够基于因特网（internet）的服务访问接口（也即公有云服务）。目前国内外无论是超级计算中心还是云计算中心，它们所采用典型的存储解决方案为具有高性能的分布式文件系统或者企业级存储系统。也有部分互联网公司针对自身业务定制自己的分布式存储方案，比如google和amazon。 

对于私有云环境的云存储系统有两种构建方法，一种是传统的存储系统，比如企业级NAS和SAN，采用的是共享磁盘（share-disk）的方法；另外一种是分布式文件系统比如Google File system、Lustre和HDFS，采用的是share-nothing（无共享）的方法。前者提供标准访问接口，从功能上可以扩展到公共云环境，但其扩展性不好。后者虽然具有很好的扩展性，但因为其配置繁琐使用复杂，往往只用于私有云环境服务特定应用程序。 

在公有云环境下一个较为知名的云存储系统为Amazon S3网络存储服务平台，Web应用程序开发人员可以使用它存储数字信息，包括图片、视频、音乐和文档。S3提供一个RESTful API以编程方式实现与该服务的交互。 

开源分布式文件系统项目glusterfs采用开放的模块化框架，具有良好的横向扩张性，而 且用户可以根据对可靠性和性能需求的不同，创建高可靠存储或者高性能存储。但glusterfs主要面向的还是企业NAS应用，只是在对数据的分布方式与复制机制上可以提供灵活的策略。如果考虑高性能计算或者其它应用，glusterfs就不是很适合。 

目前，无论超级计算中心，还是数据中心，抑或云计算中心，所部署的存储均还是以传统的企业级SAN/NAS为主。而基于分布式架构的分布式文件系统或者分布式对象存储也逐渐开始被广泛使用。然而，无论是集中式的SAN/NAS，还是分布式文件或分布式对象存储，都不能很好的解决在云存储环境下应用多样性、弹性分配、横向扩展性等问题。如果在一个计算系统中同时部署多套不同类型的存储系统用于服务不同的应用，倒是可以解决应用多样性的问题，但是这些不同类型的存储系统彼此之间是相互独立的，同时配置、管理及维护多套不同类型的存储系统使得整个计算系统愈发复杂，这会造成系统成本高、效率低，使用和维护复杂等问题；此外，弹性分配、横向扩展性等需求还是无法满足的，无法通过部署多套不同特点的存储系统来解决。 

发明内容

本发明实施例的目的在于提供一种支持混合云存储应用的分布式文件系统，旨在解决现有技术只能部署单套存储系统，无法满足在云存储环境下对应用多样性、弹性分配、横向扩展性等需求的问题。 

本发明实施例的目的还在于提供一种支持混合云存储应用的分布式文件系统的实现方法，也旨在解决上述问题。 

本发明实施例是这样实现的，支持混合云存储应用的分布式文件系统，包括若干个不同类型的云状存储系统，所述分布式文件系统还包括：客户端模块，用于提供多种云状存储系统的标准访问接口、转发来自应用程序编程接口的请求及实现后端云状存储系统的创建和维护工作；分布式一致性缓存模块，用于缓存所述若干个不同类型的云状存储系统的信息；以及云状存储系统代理模块，通过封装所述若干个不同类型的云状存储系统的命令或者工具，用于创建和管理不同类型的云状存储系统，并提供通信接口给所述客户端模块；所述客户端模块、若干个不同类型的云状存储系统分别与云状存储系统代理模块连接。 

在一个可选的实施例中，所述分布式一致性缓存模块为若干不同类型的云状存储系统的共享物理存储资源，分别与若干个不同类型的云状存储系统连接。