[发明专利]基于HDFS集群的分布式云存储系统

说明书

技术领域

本发明属于云存储技术领域，具体涉及一种基于HDFS集群的分布式云存储系统。

背景技术

随着Internet技术的发展，信息量呈爆炸性增长，数据存储逐渐成为制约企业发展的关键问题。越来越多的企业开始将数据存储分离出来作为独立的项目进行管理。高可靠性、高通用性、高扩展性、大容量，云存储以传统数据中心无法比拟的优势特性，正成为企业实现提高效率、降低成本的重要选择。

与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公共访问接口、接入网和客户端程序等多个部分组成的系统。

云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。

目前云存储对用户（无论是个人还是企业）的意义显而易见：存储在网络上的数据可以随时随地访问读取（只要能联网），节省本地存储因数据增长带来的额外硬件添置成本，基本不用考虑数据备份等维护问题，只需要选择合适的云存储服务提供商以及按需支付相关费用即可。使用云存储作为存储服务已成为一种趋势，对云存储的研究具有广阔的应用前景。

传统的云存储中文件存储采用的是集中式存储，将文件存储在本地文件系统中。这种存储方式的不足则是，当需要多处访问同一数据时，需要多份备份。另外，对于仅仅保存在文件系统中的资源，如果出现系统宕机，则会造成数据丢失。针对这些问题，现有的解决方案有将用户数据保存到服务器，只有可以联网，用户即可随时随地的访问其数据，无需多备份。但这存在的问题则是一个数据可靠性的问题，一旦服务器宕机，将造成用户数据丢失。本发明因此而来。

发明内容

本发明目的在于提供一种基于HDFS集群的分布式云存储系统，解决了现有技术中云存储中文件存储采用集中存储，用户不能定制，文件传输难以控制等问题。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种基于HDFS集群的分布式云存储系统，包括负责管理文件命名空间和客户端访问的名称节点和负责对数据存储进行管理的数据节点，其特征在于所述名称节点包括注册认证模块和用户定制模块，所述注册认证模块用于提供用户进行注册和对用户登录请求进行认证；所述用户定制模块用于对注册用户的存储空间容量进行定制，当用户成功登录后用户设置存储空间余量提醒。

优选的，所述用户通过客户端直接向数据节点上传下载文件或者通过名称节点向数据节点上传下载文件。

优选的，当用户进行上传操作时，用户首先与名称节点的服务器端建立连接，获取用户剩余空间大小，若用户剩余空间不足，则提示存储空间余量，并返回用户存储主界面；否则上传用户的文件，并提示存储空间余量。

优选的，当用户进行下载操作时，用户通过客户端首先与服务器端建立连接，用户发送读的标识以及文件标识给服务器端，服务器端读取标识，根据文件标识返回给客户端文件数据。

本发明技术方案中用户可注册账号，申请一定大小的存储空间。注册成功的用户可使用用户名和密码登录存储系统。用户可查看其可使用空间大小及已上传的文件，用户可上传本地文件至服务器，服务器将用户数据存入HDFS中；用户可下载其已上传至服务器的文件。当用户空间不足时，提示用户。

本发明技术方案采用分块存储，加快存储效率；存储的文件多副本，保证用户数据的可靠性。与传统的文件存储系统相比，本发明技术方案具有用户易使用性，用户可随时随地访问器服务器数据，采用HDFS分布式存储系统提高了系统的存储效率。将云存储运用到用户数据存储系统中，具备用户数据可靠性，即使服务器存储系统中的某个机子宕机了，用户仍然可以获取正确的数据。

本发明与现有技术相比，具有如下的有益效果：

本发明技术方案与现有技术相比，实现了用户大小定制，按需分配，合理使用资源；用户可在联网情况下随时随地访问用户数据，无需到处拷贝；使用分布式存储提高了存储效率；使用多副本存储，提高了存储的数据可靠性。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明技术方案基于HDFS集群的分布式云存储系统的架构图；

图2为本发明技术方案基于HDFS集群的分布式云存储系统的总体流程图；

图3为本发明技术方案用户进行上传文件的工作流程图；