[发明专利]一种分布式文件递进存储技术

说明书

技术领域

本发明涉及网页文件数据存储技术领域，具体涉及一种分布式文件递进存储方法及系统。

背景技术

最近，由于信息创建、存储和访问的方式，用户对存储的需求已经在变化。IT组织存储越来越多的非结构化且基于文件的数据。非结构化数据已经占总存储的50％以上，而且预计其增长率将超过结构化数据的增长率。

对于分布式文件系统，由于各节点处理能力存在差异，当系统运行一段时间后、某些节点分配的任务很多，而另外一些节点却是空闲的。要避免这种现象发生，必须采用负载均衡。

负载均衡也就是在集群中有服务器A、B、C，它们都是互不影响，互不相干的，任何一台的机器宕了，都不会影响其他机器的运行，当用户来一个请求，由负载均衡的算法决定由哪台机器来处理。

常见的负载均衡的算法有round算法。采用round算法，有用户a、b、c，那么分别由服务器A、B、C来处理。round算法是最简单的任务分配方法，循环地将各个应用任务分配到各个计算节点，既可避免计算节点任务的分配失衡，又可减少系统的反应时间。但它没有考虑计算节点计算能力的差异和不同应用任务对计算节点负载的影响，只是按照任务数量简单地来衡量计算节点的负载。

发明内容

本发明的目的是为了克服现有技术中的缺点而提供一种分布式文件递进存储方法及系统。

本发明是这样实现的，一种分布式文件递进存储方法，包括以下步骤：

通过负载均衡算法确定集群中用于存储被发送文件的一台存储服务器；

按年月日及用户信息在确定的所述存储服务中创建多层文件目录存储。

当检测到所述存储服务器的预设硬盘使用率超过设定阀值时，将所述被发送文件按预设顺序在下一台存储服务器上创建多层文件目录存储。

所述通过负载均衡算法确定集群中用于存储被发送文件的一台存储服务器的步骤之前，还包括以下步骤：

验证所述被发送文件是否存在，是则将所述被发送文件的路径改为已存在的文件路径存储于原存储所述被发送文件的存储服务器；否则通过负载均衡算法确定所述集群中用于存储被发送文件的一台存储服务器。

所述负载均衡算法采用轮叫算法。

本发明的目的还在于提供一种分布式文件递进存储系统，所述分布式文件递进存储系统包括：

若干台存储服务器，通过网络或通信线路互相连接形成一个集群，用于在主控服务器的管控下共同协作存储客户端发送的文件；

所述主控服务器，包括主控制器，对所述存储服务器通过编号进行管理控制，还包括：

负载均衡计算模块，用于通过负载均衡算法确定集群中用于存储被发送文件的一台存储服务器；

文件存储模块，用于按年月日及用户信息在确定的所述存储服务中创建多层文件目录存储。

所述主控服务器来还包括：

查找验证模块，用于响应客户端的文件发送请求，验证所述被发送文件是否已经存在。

所述主控服务器还包括：

硬盘使用率监测模块，用于监控所述集群中每台存储服务器的预设硬盘使用率。

所述主控服务器进一步包括：

顺序存储分配模块，用于当所述硬盘使用率监测模块检测到所述集群中被确定存储所述被发送文件的存储服务器的预设硬盘使用率超过设定阀值时，按预设顺序将所述被发送文件分配在下一台存储服务器存储。

所述分布式文件递进存储系统包括：

负载状况监测模块，设于每台所述存储服务器节点，用于监测每台所述存储服务器的硬盘剩余空间信息送至所述硬盘使用率监测模块计算每台所述存储服务器的硬盘使用率。

本发明通过采用以上技术方案，大大提高了存储服务器的网页数据存储量，同时对于抓取的网页，实现了按年、月、日、用户信息进行存储，进而能够实现站点的原版原貌展现。

附图说明

图1所示为本发明实施例提供的分布式文件递进存储方法的流程图；

图2所示为本发明实施例提供的分布式文件递进存储系统的系统图；

图3所示为本发明实施例提供的主控服务器的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。

本发明实施例中，所述文件及被发送文件均指网页文件，所述抓取网页指采集网页。

参见图1，该图示出了本发明实施例提供的一种分布式文件递进存储方法的流程。为了便于说明，仅示出了本发明实施例有关的部分。