[发明专利]一种应用于云盘系统中的文件去重方法、系统

说明书

本发明提供了一种应用于云盘系统中的文件去重方法及系统，该方法包括：客户端上传第一文件前，对第一文件进行弱校验，将弱校验信息发送给服务器；服务器接收弱校验信息，根据弱校验信息确定服务器中是否有第一文件，将结果返回给客户端；客户端根据返回的结果调整强校验与内容上传的流程。本申请通过客户端承担计算任务，提升了服务器吞吐量和并发度；服务器通过硬链接实现文件的去重，简化了文件特征值管理，大大降低整个云盘方案的复杂度。这样在开发效率以及服务器稳定度等方面可以获得很大的提升和保障。

技术领域

本发明属于云存储领域，具体而言，涉及一种应用于云盘系统中的文件去重方法及系统。

背景技术

研究表明企业系统中存在着大量的重复数据，这些数据极大地增加了企业成本。为了抑制数据过快增长，提高IT资源利用率，去重技术在云盘系统中越来越被重视。

现有的去重技术分为文件级去重和文件分块去重。其中文件级别的数据去重是粗粒度也容易实现的一种，通过为文件整体计算一个哈希值，对于相同的哈希值的文件只存储一份。缺点是去重效果比较差。比较适合变动不太频繁的文件或者小文件。文件分块去重将文件按照固定或可变的大小切片，然后在数据块的级别做去重，优点是粒度细，缺点是需要更复杂的分块管理，同时对底层文件系统模块的要求也大大提高。

发明内容

本申请实施例提供了一种应用于云盘系统中的文件去重方法及系统，目的为提升服务器吞吐量和并发度，大大降低整个云盘方案的复杂度。

第一方面，本申请实施例提供了一种应用于云盘系统中的文件去重方法，包括：

客户端上传第一文件前，对所述第一文件进行弱校验，将弱校验信息发送给服务器；

所述服务器接收所述弱校验信息，根据所述弱校验信息确定所述服务器中是否有所述第一文件，将结果返回给客户端；

所述客户端根据返回的结果调整强校验与内容上传的流程。

其中，所述将结果返回给客户端，包括：

如果所述服务器中没有所述第一文件，服务器将未命中的信息发送给所述客户端；如果所述服务器中有所述第一文件，服务器将命中的信息发送给所述客户端；

所述客户端根据返回的结果调整强校验与内容上传的流程，包括：

当所述客户端接收到的信息为未命中时，所述客户端向所述服务器上传所述第一文件，同时计算所述第一文件的MD5值，将MD5值发送给所述服务器；

当所述客户端接收到的信息为命中时，所述客户端对所述第一文件进行强校验，计算所述第一文件的全文MD5值，所述客户端向所述服务器发送创建请求，所述创建请求中携带所述第一文件的全文MD5值。

其中，所述客户端向所述服务器上传所述第一文件，包括：

所述客户端向所述服务器发送未命中MD5的文件创建请求；

所述方法还包括：

所述服务器接收未命中MD5的文件创建请求，生成一个临时文件，在文件上传结束时，在MD5文件库通过硬链接关联该临时文件，然后重命名并移动该临时文件至目标位置。

其中，所述弱校验包括对所述第一文件的一部分进行校验；所述强校验包括对所述第一文件的全文进行校验。

其中，所述客户端与服务器基于HTTP协议进行通信，协议使用HTTP头部的扩展tag标记来标记文件的请求类型和参数，使用HTTP的Content段来进行文件数据内容的交换。

第二方面，本申请提供了一种应用于云盘系统中的文件去重系统，包括客户端和服务器：

所述客户端用于：上传第一文件前，对所述第一文件进行弱校验，将弱校验信息发送给服务器；