[发明专利]一种数据下载系统及方法

说明书

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据下载系统及方法。

背景技术

随着信息技术的发展，人们日益习惯于通过网络来获取各种数据。例如，一种通常的方式就是通过数据下载系统来下载所需的内容。

目前使用较多的下载架构主要有两种，一种是传统的CDN(Content Delivery Network，内容分发网络)多层缓存架构，另一种是一般的视频网站使用较多的下载架构。

CDN多层缓存架构的示意图如图1所示，在这种架构中，全局数据仅存储在顶层源站设备中，每个边缘服务节点由Nginx做反向代理，将请求转给后端的Squid，Squid接到用户请求后回源站抓取数据提供服务，前端使用DNS方式进行负载均衡。这种架构通常适用于整体数据量不大，且热点集中的下载业务。

视频网站使用较多的下载架构如图2所示，在这种架构中，全局建立若干分布式存储集群，各集群间数据没有冗余或冗余较低，使用基于HTTP(HyperText Transfer Protocol，超文本传输协议)的第七层负载均衡设备对全局的Nginx服务器进行负载均衡。这种架构通常适用于视频下载业务，整体并发度较低，多为连续读取。

但是现在一些场合(例如大型软件、游戏等安装程序下载等)中的下载服务通常有如下特点：存储数据量大、文件数量大，且某部分业务用户访问热点不集中等等。因此，迫切需要本领域技术人员解决的技术问题就在于，如何提供一种新的下载架构，能够满足上述要求。

发明内容

本发明提供了一种数据下载系统及方法，能够满足存储数据量大、文件数量大，且某部分业务用户访问热点不集中时的下载服务需求。

本发明提供了如下方案：

一种数据下载系统，包括多个下载集群，每个下载集群中包括Linux虚拟服务器LVS、至少两个下载节点Nginx以及一个分布式文件系统HDFS，所述Nginx的操作系统通过用户空间文件系统FUSE挂载HDFS的存储服务；其中：

所述LVS用于接收用户的下载请求，对各个Nginx进行调度选择，将所述下载请求转发给选中的Nginx；

所述Nginx用于在接收到LVS转发的下载请求后，通过FUSE访问HDFS中存储的数据，响应用户的下载请求；

所述HDFS用于存储数据。

其中，所述LVS具体用于：接收到用户的下载请求后，根据各个Nginx的性能和/或当前负载状况对各个Nginx进行调度选择，将所述下载请求发送给性能和/或当前负载状态符合预置条件的Nginx。

其中，所述LVS为两个。

其中，两个LVS互为主备，每个LVS通过一个处于主模式的虚IP向用户提供下载服务，同时存在一个处于备用模式的虚IP；当一个LVS无法提供服务时，另一个LVS通过启动所述处于备用模式的虚IP来接管该LVS的下载服务。

其中，所述HDFS包括名字节点及至少两个数据节点，所述名字节点与LVS复用一台服务器，每个数据节点与一个Nginx复用一台服务器。

其中，Nginx的数目与数据节点的数目相同。

一种数据下载方法，应用于一数据下载系统中，所述数据下载系统包括多个下载集群，每个下载集群中包括Linux虚拟服务器LVS、至少两个下载节点Nginx以及一个分布式文件系统HDFS，所述HDFS用于存储数据，所述Nginx的操作系统通过用户空间文件系统FUSE挂载HDFS的存储服务；所述方法包括：

通过所述LVS接收用户的下载请求，并由所述LVS对各个Nginx进行调度选择，将所述下载请求转发给选中的Nginx；

Nginx在接收到LVS转发的下载请求后，通过FUSE访问HDFS中存储的数据，响应用户的下载请求。

其中，所述对各个Nginx进行调度选择，将所述下载请求转发给选中的Nginx包括：

根据各个Nginx的性能和/或当前负载状况对各个Nginx进行调度选择，将所述下载请求发送给性能和/或当前负载状态符合预置条件的Nginx。

其中，所述LVS为两个。

其中，两个LVS互为主备，每个LVS通过一个处于主模式的虚IP向用户提供下载服务，同时存在一个处于备用模式的虚IP；当一个LVS无法提供服务时，另一个LVS通过启动所述处于备用模式的虚IP来接管该LVS的下载服务。