[发明专利]一种用于重复文件上传的方法和系统

说明书

本发明涉及一种用于重复文件上传的方法和系统，其方法包括：客户端对文件大小不小于第一阈值的文件计算校验段校验值，服务端对校验段校验值和文件大小进行快速匹配；若快速匹配成功，客户端计算整个文件的校验值，服务端对文件校验信息进行精确匹配；若精确匹配成功，服务端创建待上传文件到已有存档记录的映射，否则保存文件校验信息并等待文件上传后形成存档记录。当快速匹配无匹配项时可以避免对整个待上传文件校验信息的计算，同时保证了待上传文件与服务端所匹配到文件的一致性；通过在精确匹配时预存文件校验信息，避免了服务端的重复计算文件校验信息。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种用于重复文件上传的方法和系统。

背景技术

随着互联网技术及移动设备的普及，人们创造和分享的信息量日益增加。网络存储，如网盘、云盘，可以为用户提供只需一次上传，即可在多种终端上随时进行数据访问的高效信息处理方式。然而，在网络存储的海量数据中，必然存在大量重复数据，主要体现为不同用户各自上传的公共资源。这些重复数据的存在，一方面在其上传过程占用了大量网络带宽，另一方面对网络存储服务器造成了不必要的压力。

为了减少重复数据造成的浪费，目前普遍采用的技术有基于重复数据校验的文件上传和重复数据删除。其中，当前基于重复数据校验的文件上传方案，其特征及一些局限性包括：

(1)将文件分块，以数据块为单位，进行重复文件的对比，因此可以对相似文件中重复数据块进行处理。如中国专利CN102571952A公开一种传输文件的系统及方法，对待上传文件进行分块对比。然而，在网络带宽较小的情况下，以数据块为单位进行对比的方式，需要在客户端和服务器之间产生大量请求和应答，进而影响传输效率。同时，服务端需保存和对比每个数据块的校验值，建立大量数据块之间的映射关系，对服务器的压力很大，往往需要独立的服务器进行处理，不利于在中小型服务端设备上实现。

(2)如果不将文件分块，则现有方案在服务端查找是否存在相同文件前，需要直接计算待上传文件全部数据内容的校验值。如中国专利CN103929453A公开一种上传数据的处理方法、装置及系统，其中根据所述待上传数据的索引信息，确定所述待上传数据在存储服务器中是否已经存储。当文件较大时，计算过程耗时明显。个别改进方案提出抽取文件中部分内容计算校验值，以缩短计算时间，但不能保证待上传文件与服务端所查找文件的整体一致性。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用于重复文件上传的方法和系统，可应对网络带宽受限的情况，减少客户端与服务器的通信，降低服务器内部处理压力，并实现客户端待上传文件与服务器已有文件的快速精确比对。

本发明的目的可以通过以下技术方案来实现：

一种用于重复文件上传的方法，实现文件从客户端到服务端的传输，包括以下步骤：

(1)客户端判断待上传文件是否不小于第一阈值，若是，则执行步骤(2)，若否，则客户端上传文件，执行步骤(8)；

(2)客户端抽取待上传文件的校验段，并计算校验段校验值；

(3)服务端根据校验段校验值和文件大小进行快速匹配，判断服务端是否存在匹配项，若是，则执行步骤(4)，若否，则客户端上传文件，执行步骤(8)；

(4)客户端计算整个待上传文件的整体校验值；

(5)服务端根据校验段校验值、整体校验值和文件描述信息进行精确匹配，判断服务端是否存在匹配项，若是，则执行步骤(6)，若否，则客户端上传文件，执行步骤(7)；

(6)服务端添加待上传文件到已有存档记录的映射记录；

(7)服务端记录校验段校验值、整体校验值与文件描述信息，形成待上传文件对应的存档记录并保存；