[发明专利]一种高效去重的轻量级在线文件存储方法及装置

说明书

本说明书一个或多个实施例提供一种高效去重的轻量级在线文件存储方法及装置，方法包括：将待存储文件划分为至少一个文件块，计算各文件块的哈希值，生成表示待存储文件的基于布隆过滤器的哈希值；基于至少一个待存储文件的基于布隆过滤器的哈希值，进行位置敏感哈希算法处理，生成表示至少一个待存储文件的表空间；将所述表空间划分为至少一个桶区域，各桶区域内包括具有一定相似度的文件，根据各服务器的当前空闲存储容量，将各桶区域内的文件存储于容量匹配的服务器。本实施例的文件存储方法在存储空间、负载均衡、访问效率和实时性方面具有良好的整体性能。

技术领域

本说明书一个或多个实施例涉及数据处理技术领域，尤其涉及一种高效去重的轻量级在线文件存储方法及装置。

背景技术

分布式服务器在接收文件时，需要按照一定的存储策略存储文件，存储策略需要综合考虑各服务器的存储空间、负载均衡以及读取文件的访问效率和实时性等性能要求，有些服务器会接收大量存在重复内容的文件，如何对文件进行有效的去重处理，提供能够满足各项性能要求的存储策略，是本领域尚需解决的技术问题。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种高效去重的轻量级在线文件存储方法及装置，能够满足文件存储的各项性能要求。

基于上述目的，本说明书一个或多个实施例提供了一种高效去重的轻量级在线文件存储方法，包括：

将待存储文件划分为至少一个文件块，计算各文件块的哈希值，生成表示待存储文件的基于布隆过滤器的哈希值；

基于至少一个待存储文件的基于布隆过滤器的哈希值，进行位置敏感哈希算法处理，生成表示至少一个待存储文件的表空间；

将所述表空间划分为至少一个桶区域，各桶区域内包括具有一定相似度的文件，根据各服务器的当前空闲存储容量，将各桶区域内的文件存储于容量匹配的服务器。

可选的，所述文件存储方法还包括：

对于所述服务器中存储的具有一定相似度的文件，删除重复的冗余数据。

可选的，所述文件存储方法还包括：

当所述待存储文件的数量到达预定数量时，更新所述表空间。

可选的，所述位置敏感哈希算法的哈希表中包括个哈希函数，所述哈希表中的哈希函数表示为：

（1）

其中，c为待存储文件的基于布隆过滤器的哈希值，是遵循柯西分布的d维随机向量，b是在区间内均匀选取的实数，其中是预设值；

将所述待存储文件对应为投影点映射于所述表空间，所述投影点表示为，所述投影点服从的分布，服从柯西分布，其中，,对于n个文件，其数据向量表示为；

利用个哈希函数对文件的基于布隆过滤器的哈希值进行处理后，得到维度为的数据向量，表示为：

（2）

所述投影点按照公式（4）所示概率分布函数进行分布：

（4）

其中，i为整数，x是投影点的投影位置；

所述投影点的累积分布函数为:

（5）

可选的，根据所述表空间中投影点的概率分布函数和累计分布函数，将所述表空间划分为与所述服务器的数量一致的桶区域。

可选的，第j个桶区域的投影位置为：

（9）