[发明专利]一种基于双层Bloom过滤器的云存储文件级去重方法

说明书

本发明公开了一种基于双层Bloom过滤器的云存储文件级去重方法，包括：S1.客户端获取客户上传的文件A，并依次截取文件内容A1、A2；S2.客户端计算A1、A2的摘要值，得到Key1、Key2；S3.采用第一Bloom过滤器对Key1进行计算，得到第一散列值集合，并进行检查，得到第一检查结果μ1；S4.采用第二Bloom过滤器对Key2进行计算，得到第二散列值集合，并进行检查，得到第二检查结果μ2；S5.客户端计算μ1μ2的值，并判断μ1μ2的值是否为0，若否，则执行步骤S6；S6.在数据库中查询是否存在Key1和Key2，若是，则执行步骤S7；S7.客户端计算文件A中A3的摘要值，得到Key3；S8.在数据库中查询是否存在Key3，若否，则执行步骤S9；S9.客户端将文件A、Key1、Key2、Key3分别上传并存储至服务器端、数据库。

技术领域

本发明涉及数据处理的技术领域，尤其涉及一种基于双层Bloom过滤器的云存储文件级去重方法。

背景技术

随着大数据时代的到来，企业以及个人不断产生海量数据，且重要的数据需要安全的进行存储。云存储可以将所有存储资源整合到一起，并通过虚拟化技术提高存储空间的利用率。但是在传输和存储的过程中，这中间的冗余数据会浪费很大的存储空间和网路带宽，云存储去重技术则为用户节约了很大的存储空间，极大地提高了网络带宽利用率，也越来越多地被应用在实际生活中的不同领域，极大的便捷了人们的生产生活。

云存储去重技术,根据去重位置可以分为源端去重和目的端去重，即客户端去重和服务器端去重。源端去重会很大地占用本地计算资源，但是对网络带宽利用率的提高也是显著的。目的端去重需要额外的设备，而且对网络带宽的利用率是根据文件而定，具有很大的不确定性，但是对源端计算资源的占用很小。

公开号为CN105069111A的专利公开了云存储中基于相似性的数据块级数据去重方法，包括：在云存储系统中添加一个指纹索引节点，指纹索引节点用于得到已存储文件的数据块指纹并根据已存储文件的相似性构建由主索引和从索引组成的二级指纹索引，其中，主索引为文件的文件特征指纹与文件相似性集合地址的映射，从索引为文件的数据块指纹与数据块地址、用户ID之间的映射，文件特征指纹为文件的最小数据块指纹；根据指纹索引节点的二级指纹索引对待存储的文件数据块进行去重。上述专利虽然可以实现相似性的数据块级数据去重，但是上述方案的计算资源的开销比较大。因此，本发明提出一种基于双层Bloom过滤器的云存储文件级去重方法，要解决的技术问题在于云存储去重计算负担的分配，为了减小对源端计算资源的占用，合理利用目的端计算资源，提高网络带宽利用率而提出本方案来解决该问题。

发明内容

本发明的目的是针对现有技术的缺陷，提供了一种基于双层Bloom过滤器的云存储文件级去重方法，能够减小对源端计算资源的占用，合理利用目的端计算资源，提高网络带宽利用率。

为了实现以上目的，本发明采用以下技术方案：

一种基于双层Bloom过滤器的云存储文件级去重方法，包括客户端、服务器端、数据库；

S1.客户端获取客户上传的文件A，并从文件A的头部依次截取文件内容A1、A2；

S2.客户端使用哈希函数分别计算A1、A2的摘要值，得到A1对应的哈希值Key1、A2对应的哈希值Key2；

S3.采用第一Bloom过滤器对Key1进行计算，得到第一散列值集合，并采用第一Bloom过滤器对第一散列值集合进行检查，得到第一检查结果μ1；

S4.采用第二Bloom过滤器对Key2进行计算，得到第二散列值集合，并采用第二Bloom过滤器对第二散列值集合进行检查，得到第二检查结果μ2；

S5.客户端计算μ1μ2的值，并判断μ1μ2的值是否为0，若否，则执行步骤S6；

S6.在数据库中查询是否存在相同大小的Key1和Key2，若是，则执行步骤S7；