[发明专利]一种分布式存储系统及其下载文件的方法

说明书

技术领域

本发明涉及云存储系统，尤其涉及一种分布式存储系统及其下载文件的方法。

背景技术

在分布式存储中，海量的文件分布于不同的计算机上，备份多份的文件，

通常会被切割成固定的大小存放在不同的服务器上，传统下载文件方式通常是实现一个客户端（基于分布式存储API或私有通信协议），先向元数据服务器查询文件存放位置，然后依次连接数据服务器进行下载文件。那么如果客户端系统平台不同，比如：win、linux、mac、安卓等，则需要开发不同平台上的客户端。

使用HTTP（Hypertext transfer protocol，超文本传送协议)方式从分布式存储中下载文件可避免开发多个平台的客户端。中国专利CN201210559791.2公开了一种获取云存储文件的方法：用一台服务器记录所有文件的URL，客户端先通过该服务器查询某文件的URL，然后再通过查询到的URL下载文件。这种方法存在以下缺陷：

（1）客户端需要请求两次URL，增加客户端操作的复杂度。

（2）在分布式存储领域中，文件可能备份有多份，而URL只能指向固定的某台存放有该文件的服务器，当有多个客户端想获取同一个文件时，客户端都向一台服务器下载文件，只能利用1台服务器的性能，从而造成负荷不均衡，无法发挥分布式存储的优势。

发明内容

有鉴于此，本发明要解决的技术问题是提供一种分布式存储系统及其下载文件的方法，以使用一个通用的URL来获取分布式存储中的任意一个文件，且能合理分配客户端请求，充分发挥分布式存储优势。

本发明解决上述技术问题所采用的技术方案如下：

根据本发明的一个方面，提供的一种分布式存储系统，包括元数据服务器和至少一台数据服务器，其中：

元数据服务器，用于接收客户端请求下载文件的URL，根据URL中的文件ID查询该文件的文件块所在的数据服务器，选择负荷较低的一台文件块所在数据服务器作为主文件下载服务器生成新URL，并将客户端请求的URL重定向到新URL；

数据服务器，用于当作为主文件下载服务器时，从其他数据服务器获取自身没有的其他文件块，并将该文件的文件块按顺序发送给客户端。

优选地，元数据服务器进一步包括：

接收模块，用于接收客户端请求下载文件的URL；

查询模块，用于根据URL中的文件ID查询文件所在的数据服务器；

重定向模块，选择负荷较低的一台文件块所在数据服务器作为主文件下载服务器生成新URL，并将客户端请求的URL重定向到新URL。

优选地，元数据服务器还包括负荷监测模块，用于实时监测所有数据服务器的下载任务和系统资源；相应地，重定向模块具体用于：选择负荷最低的一台存储该文件第一个文件块的数据服务器为主文件下载服务器生成新URL，并将客户端请求的URL重定向到新URL。

优选地，主文件下载服务器进一步包括：

文件位置获取模块，用于向元数据服务器获取该文件中自身没有的其他文件块的存放位置；

文块获取模块，连接其他文件块所在的数据服务器，通过分布式存储API下载其他文件块；

发送模块，用于将该文件的文件块按顺序通过HTTP协议将文件传输给客户端。

优选地，主文件下载服务器还包括文件块删除模块，用于发送完文件块后，当超过预定的删除时间未收到该文件的下载请求时，删除该文件中从其他数据服务器下载的文件块。

优选地，该系统还包括客户端，用于向元数据服务器发送请求下载文件的URL，以及接收所述主文件下载服务器发送的文件。

根据本发明的另一个方面，提供的一种分布式存储系统的文件下载方法包括：

元数据服务器接收客户端请求下载文件的URL，其中URL包括文件ID；

通过文件ID查询该文件的文件块所在的数据服务器，选择负荷较低的一台文件块所在数据服务器作为主文件下载服务器生成新URL；

将客户端请求的URL重定向到新URL；

主文件下载服务器从其他数据服务器下载自身没有的其他文件块，并将该文件的文件块按顺序发送给客户端。

优选地，选择负荷较低的一台文件块所在数据服务器作为主文件下载服务器进一步包括：

获取存放该文件的文件块所在的所有数据服务器；

获取所有数据服务器的下载任务及系统资源；

选择负荷最低一台数据服务器为主文件下载服务器。