[发明专利]一种车辆物联网云存储系统重复数据删除方法

说明书

一种车辆物联网云存储系统重复数据删除方法，涉及信息存储领域，步骤如下：将固定窗口置于未分块的起始位置，滑动窗口寻找不小于极大值的字节作为分块点、生成块指纹Chunk_fp；记录滑动窗口内极大值和分块长度Size_Chunk；重复a、b，直至分块完成；依次排列三元组数据、建立三元组列表，三元组数据为Size_Chunk+1为下一分块长度；当有新的数据流输入时，执行步骤a，在三元组列表中寻找具有相同块指纹的三元组数据，找到时，将三元组列表中自具有相同块指纹的三元组数据起向后的各三元组数据中的Size_Chunk+1依次作为对新输入的数据流分块的字节长度，对新输入的数据流进行分块，直至分块完成；未找到时，更新三元组列表；本发明分块速度快，系统数据吞吐率高。

技术领域

本发明涉及信息存储领域，是一种降低系统资源额外开销、加快分块速度，保障重复数据删除率的同时提高系统数据吞吐率的车辆物联网云存储系统重复数据删除方法。

背景技术

随着车辆网技术的飞速发展，汽车车辆可以使用车辆网络与其他公共设施交换相关信息，并将这些信息上传至云端进行存储。不同设备之间存在大量的冗余数据，这些数据存储已经成为云存储中的严峻挑战。而重复数据删除技术是一种通过检测消除冗余数据的技术，已经被广泛应用于云存储中。重复数据删除可以检测出冗余数据，消除并存储唯一副本。

块级重复数据删除技术将文件分为多个数据块，对每个块进行哈希处理(例如MD5,SHA-1,SHA-256)，形成指纹(即哈希摘要)，将其作为唯一块标识。如果两个数据块有相同的指纹，则不予存储，否则将存储唯一数据块。

虽然块级重复数据删除系统可以检测更多的冗余数据，但是需要更多的计算时间，成为了块级重复数据删除技术的瓶颈。原因在于块级重复数据删除技术分为以下四个阶段:(1) 分块、(2)生成指纹、(3)指纹索引查找、(4)存储数据；分块和指纹索引查找占据了块级重复数据删除的大部分时间，成为了日益严峻的挑战。目前主流的分块算法分为固定分块算法和基于内容分块算法。固定分块算法将文件或数据流分割成统一长度的数据块，优点是计算开销小，系统数据吞吐率高，但其存在内容偏移、重复数据检测率低的缺陷，例如，如果在文件的内部任意位置添加或删除一个字节，所有的块边界可能都发生改变，这将影响块边界的界定，无法在少量修改的重复文件中找到重复数据块。而基于内容分块算法可以有效解决块偏移问题，算法将满足预定条件的字节作为块边界；基于内容分块算法可比固定大小分块算法检测出更多的冗余数据，但其存在分块速度慢、系统数据吞吐率低的缺陷。

发明内容

本发明的目的是解决上述现有技术的不足，提供一种降低系统资源额外开销、加快分块速度，不存在内容偏移、保障重复数据删除率的同时提高系统数据吞吐率的车辆物联网云存储系统重复数据删除方法。

本发明解决上述现有技术的不足所采用的技术方案是：

一种车辆物联网云存储系统重复数据删除方法，其特征在于包括如下步骤：

步骤a：将基于内容分块算法的固定窗口置于数据流的未分块的起始位置，记录固定窗口内字节的极大值V_max,基于内容分块算法的滑动窗口逐字节的寻找大于等于极大值V_max的字节作为分块点；使用哈希函数对分块点和前一个分块点之间的字节内容生成块指纹Chunk_fp；

步骤b：记录滑动窗口中字节的极大值记录步骤a获得的分块点和前一个分块点之间的字节长度Size_Chunk；

步骤c：重复步骤a、步骤b，直至数据流剩余长度小于2KB，不再寻找分块点，将剩余长度小于2KB的数据作为最后一个分块，数据流全部分块完成；