[发明专利]一种高效去重的轻量级在线文件存储方法及装置

权利要求书

1.一种高效去重的轻量级在线文件存储方法，其特征在于，包括：

将待存储文件划分为至少一个文件块，计算各文件块的哈希值，生成表示待存储文件的基于布隆过滤器的哈希值；

基于至少一个待存储文件的基于布隆过滤器的哈希值，进行位置敏感哈希算法处理，生成表示至少一个待存储文件的表空间；其中，所述位置敏感哈希算法的哈希表中包括个哈希函数，所述哈希表中的哈希函数表示为：

（1）

其中，c为待存储文件的基于布隆过滤器的哈希值，是遵循柯西分布的d维随机向量，b是在区间内均匀选取的实数，其中是预设值；

将所述待存储文件对应为投影点映射于所述表空间，所述投影点表示为，所述投影点服从的分布，服从柯西分布，其中，，对于n个文件，其数据向量表示为；

利用个哈希函数对文件的基于布隆过滤器的哈希值进行处理后，得到维度为的数据向量，表示为：

（2）

所述投影点按照公式（4）所示概率分布函数进行分布：

（4）

其中，i为整数，x是投影点的投影位置；

所述投影点的累积分布函数为:

（5）

将所述表空间划分为至少一个桶区域，各桶区域内包括具有一定相似度的文件，根据各服务器的当前空闲存储容量，将各桶区域内的文件存储于容量匹配的服务器。

2.根据权利要求1所述的方法，其特征在于， 还包括：

对于所述服务器中存储的具有一定相似度的文件，删除重复的冗余数据。

3.根据权利要求1所述的方法，其特征在于，还包括：

当所述待存储文件的数量到达预定数量时，更新所述表空间。

4.根据权利要求1所述的方法，其特征在于，根据所述表空间中投影点的概率分布函数和累计分布函数，将所述表空间划分为与所述服务器的数量一致的桶区域。

5.根据权利要求4所述的方法，其特征在于，第j个桶区域的投影位置为：

（9）

其中，第j个服务器的当前空闲存储容量为，为服务器的数量趋于无穷大时，所有文件对应的投影点的投影位置的均值的绝对值，为第j个桶区域内所有投影点的投影位置均值的绝对值，

（6）。

6.根据权利要求1所述的方法，其特征在于，所述待存储文件顺序存储于服务器，所述方法的时间复杂度为，其中，为布隆过滤器的哈希函数的数量， 为位置敏感哈希算法的哈希函数的数量，布隆过滤器的长度，为文件块的数量。