[发明专利]分布式文件系统及其数据同步的方法

说明书

技术领域

本发明涉及数据存储领域，特别涉及一种分布式文件系统及其数据同步的方法。

背景技术

目前，人类已经步入了信息化的时代，信息总量正以几何级数方式增长，以社交网站、云计算为代表的信息系统，需要处理的数据已经达到PB级别，并朝着EB级别发展，为了解决日益增长的海量数据存储需求，分布式文件存储逐步成为了研究热点。文件的访问主要分为两种情况：一种是对文件进行修改，包括设置文件附件属性以及删除文件等操作；另一种则是文件的下载。由于文件系统是天生的静态资源，因此在大多数时候，我们都需要文件系统提供文件的下载服务。由于分布式文件存储系统的数据存储服务器，通常由普通的、廉价的硬件组成，为了提高数据的可靠性，需要对不同服务器间的数据进行同步。但是目前的分布式文件系统的文件同步方式属于异步方式，异步方式会带来文件同步延迟的问题，即如果用户上传完一个文件，马上在没有完成文件同步的数据存储服务器上发起下载请求，就会出现查找不到文件的现象。

发明内容

【要解决的技术问题】

本发明的目的是提供一种分布式文件系统及其数据同步的方法，以解决目前的分布式文件系统数据同步时存在延迟的问题。

【技术方案】

本发明是通过以下技术方案实现的。

本发明涉及一种分布式文件系统，该系统包括：

客户端，被配置成向资源定位模块发送文件上传请求、向选择的数据存储节点发送文件下载请求；

资源定位模块，包括至少一个资源定位器，所述资源定位器被配置成处理客户端发送的文件上传和/或下载请求、监控数据存储模块的运行状态；

数据存储模块，包括至少一组数据存储服务器，所述数据存储服务器包括至少一个数据存储节点，所述数据存储节点均连接有Web服务器和扩展模块，所述数据存储节点用于实现文件的存储、同步，所述Web服务器和扩展模块用于提供HTTP下载服务。

作为一种优选的实施方式，所述数据存储模块被配置成：当客户端选择数据存储节点发送下载请求，所选择的数据存储节点解析客户端的下载请求得到待下载文件的文件ID，根据文件ID判定该数据存储节点是否存储有待下载文件，如果该数据存储节点存储有待下载文件，则该数据存储节点根据文件ID定位到文件所在目录，根据文件名查找待下载文件并由该数据存储节点的Web服务器完成下载；反之则由该数据存储节点的扩展模块向源节点发送Redirect指令或向其他数据存储节点发送Proxy指令，源节点接收指令后根据文件ID查找得到待下载文件并由源节点的Web服务器完成下载或其他数据存储节点接收指令后根据文件ID查找得到待下载文件并由该数据存储节点的Web服务器完成下载，所述源节点为用户上传所述待下载文件时资源定位模块为用户分配的数据存储节点。

本发明还涉及一种分布式文件系统数据同步的方法，包括：

初始化分布式文件系统中数据存储模块的Web服务器和扩展模块；

当用户上传文件时，客户端向资源定位模块发起上传请求，资源定位模块中的资源定位器根据客户端的上传请求将客户端与资源定位模块连接，通过资源定位模块为用户分配源节点，客户端与源节点通信完成文件的上传并返回文件ID，所述源节点为资源定位器查询得到的可用的数据存储节点，所述文件ID至少包括数据存储服务器的组名、文件路径信息、文件名；

源节点将上传的文件主动推送至与源节点同组的数据存储节点。

作为一种优选的实施方式，还包括：

当用户下载所述上传成功的文件时，客户端选择数据存储节点发送下载请求，所选择的数据存储节点解析客户端的下载请求得到待下载文件的文件ID，根据文件ID判定该数据存储节点是否存储有待下载文件，如果该数据存储节点存储有待下载文件，则该数据存储节点根据文件ID定位到文件所在目录，根据文件名查找待下载文件并由该数据存储节点的Web服务器完成下载；反之则由该数据存储节点的扩展模块向源节点发送Redirect指令或向其他数据存储节点发送Proxy指令，源节点接收指令后根据文件ID查找得到待下载文件并由源节点的Web服务器完成下载或其他数据存储节点接收指令后根据文件ID查找得到待下载文件并由该数据存储节点的Web服务器完成下载。

作为另一种优选的实施方式，所述初始化分布式文件系统中数据存储模块的Web服务器和扩展模块具体包括：

加载分布式文件系统的WEB服务器的配置文件，得到数据存储模块中的Web服务器的监听端口、所存储文件的路径、扩展模块信息；