[发明专利]一种海量小文件的存储方法及装置

说明书

技术领域

本发明涉及一种文件存储方法及装置，特别是一种海量小文件的存储方法及装置，属于计算机网络技术领域。

背景技术

在网络服务领域，尤其是提供了照片托管服务的网络服务，存在大量的小文件操作。小文件是指文件大小在512K（512K字节，1K字节=1024字节=1024*8比特）以内的由用户上传的文件。这里的小文件，不仅仅是从尺寸上而言的，而是从功能上也有限定，比如程序文件、系统资源文件，尽管尺寸在小文件的范围之内，也不是本文讨论范围之内的小文件。仅仅是用户通过上传产生的头像、照片、日记附加照片等文件，才是小文件。在传统的技术中，从文件的上传到存储以及存储到分发，以及备份，用的都是简单的网络文件复制方式。这种简单的网络文件复制方式，在访问压力小的压力下，尚且可行，只要访问压力稍大，服务器的资源就会被大量的网络复制进程所占用，因为每传输一个文件，不但整个过程需要经历建立连接等操作，而且，在客户端和服务器端，都得启动一个文件复制进程，在多的时候，不但传输速度会大幅下降。而且会导致服务器资源最后被用光，甚至导致本文件服务或者其他不相干服务也受到影响。在传统地技术实现中，对于这种小文件的备份方式是全目录备份，全目录备份一次往往需要比较长时间，并且产生了很多无效的备份操作。

以Linux操作系统的操作为例，在传统的存储系统中，文件上传到中转服务器之后，一般由中转服务器的程序，启动一个rsync进程，由rsync本地文件到存储服务器。存储服务器在接收文件时，也要启动一个到几个rsync进程来接收文件。如果同时有多个文件，从不同的中转服务器传到存储，就会导致存储服务器上启动大量进程，占用大量资源，处理能力急剧下降。甚至导致服务器不能响应更多的连接请求。

发明内容

本发明的目的在于，提供一种海量小文件的存储方法及装置。它可以解决小文件传输存储过程中占用大量系统资源、影响其他服务的问题。

本发明的技术方案：一种海量小文件的存储方法，其特征在于，所述方法包括一个上传方法：

用户在网页页面上提交文件并上传至中转服务器；

将文件从中转服务器通过远程服务存储到存储服务器；

还包括一个分发方法；

用户请求文件时，存储服务器将文件分发给用户；

还包括一个备份方法：

监控存储文件的变化；

将发生变化的文件从存储服务器取到备份服务器的相应目录下。

前述的海量小文件的存储方法中，所述中转服务器在接收文件完成之后，对文件的合法性进行更严格的校验，如果文件内容合法，则继续，如果不合法，则返回出错，在界面上提示给用户。

前述的海量小文件的存储方法中，所述将文件从中转服务器通过远程服务存储到存储服务器的方法为：中转服务器对文件的合法性进行校验之后，结合上传者的身份信息，访问应该保存此文件的存储服务器上的存储服务，将此文件连同相关的元数据信息（文件存储位置和文件名）发给该存储服务，由存储服务负责文件在存储服务器上建立文件，保存文件内容。

前述的海量小文件的存储方法中，所述分发方法包括：

用户请求下载相应的文件，首先用户访问缓存服务器，如果缓存服务器上已经缓存上了要请求的文件，则由缓存分发设备直接把此文件输出给用户；

在缓存分发设备上不存在此文件，则由缓存服务器向存储服务器的存储服务请求下载此文件，存储服务根据需求，直接输出此文件至缓存服务器，再由缓存服务器输出给用户。

实现前述方法的一种海量小文件的存储装置，其特征在于，它包括

在网页页面上设有上传入口的上传模块；

中转服务器，用于存储上传文件后发送文件至存储服务器；

存储服务器，用于存储上传文件；

缓存服务器，分发存储服务器上的文件时，用于缓存文件；

备份服务器，用于备份存储服务器上的更新文件。

前述的海量小文件的存储装置中，所述中转服务器上设有

接收模块，用于响应用户的上传请求，并接收用户数据；

校验模块，用于校验上传文件的合法性；

存储模块，在校验模块对文件的合法性进行校验之后，结合上传者的身份信息，访问应该保存此文件的存储服务器上的存储服务，将此文件连同相关的元数据信息发给该存储服务，进而进行存储。