[发明专利]一种车辆物联网云存储系统重复数据删除方法

权利要求书

1.一种车辆物联网云存储系统重复数据删除方法，其特征在于包括如下步骤：

步骤a：将基于内容分块算法的固定窗口置于数据流的未分块的起始位置，记录固定窗口内字节的极大值V_max,基于内容分块算法的滑动窗口逐字节的寻找大于等于极大值V_max的字节作为分块点；使用哈希函数对分块点和前一个分块点之间的字节内容生成块指纹Chunk_fp；

步骤b：记录滑动窗口中字节的极大值记录步骤a获得的分块点和前一个分块点之间的字节长度Size_Chunk；

步骤c：重复步骤a、步骤b，直至数据流剩余长度小于2KB，不再寻找分块点，将剩余长度小于2KB的数据作为最后一个分块，数据流全部分块完成；

步骤d：建立三元组列表：根据数据流分块的顺序依次排列其三元组数据、形成三元组列表；任意一个分块的三元组数据为为该分块滑动窗口中字节的极大值，Chunk_fp为该分块的块指纹，Size_Chunk+1为下一分块的字节长度；

步骤e：当有新的数据流输入时，执行步骤a，在三元组列表中寻找具有与当前分块的块指纹相同块指纹的三元组数据，找到时，判定三元组列表为新输入的数据流的对照分块列表；未找到时，执行步骤b，判定三元组列表需更新；

步骤f：当判定三元组列表为新输入的数据流的对照分块列表时，将三元组列表中自具有相同块指纹的三元组数据起向后的各三元组数据中的Size_Chunk+1依次作为对新输入的数据流分块的字节长度，对新输入的数据流进行分块，直至分块完成；

步骤g：当判定三元组列表需更新时，对未分块的数据执行步骤a、步骤b，记录上一分块的三元组数据，使用该三元组数据对三元组列表进行实时更新：将该三元组数据排列在三元组列表尾端，使用当前分块上一分块的字节长度Size_Chunk更新其上一个三元组数据中的字节长度Size_Chunk+1；在三元组列表中寻找具有与当前分块的块指纹相同块指纹的三元组数据，找到时，判定三元组列表为新输入的数据流的对照分块列表，执行步骤f；未找到时，判定三元组列表需更新，重复步骤g，直至新输入的数据流剩余长度小于2KB，将剩余长度小于2KB的数据作为最后一个分块，分块完成。

本发明步骤f中，当三元组列表结束时仍未能对新输入的数据流完成分块时，将剩余的未分块数据作为新输入的数据流，重复步骤e、步骤f、步骤g。

2.根据权利要求1所述的车辆物联网云存储系统重复数据删除方法，其特征在于所述的步骤e为：当有新的数据流输入时，执行步骤a，在三元组列表中寻找具有与当前分块的块指纹相同块指纹的三元组数据，找到时，且当前分块仅有一个极大值，判定三元组列表为新输入的数据流的对照分块列表，步骤f；否则，执行步骤b，判定三元组列表需更新；

所述的步骤g为：当判定三元组列表需更新时，对未分块的数据执行步骤a、步骤b，记录上一分块的三元组数据；当在三元组列表中寻找到与上一分块的块指纹相同的三元组数据时，使用上一分块的块长度数据Size_Chunk对三元组列表中与上一分块的块指纹相同的三元组数据的上一个三元组数据的Size_Chunk+1进行实时更新；当在三元组列表中未找到有与上一分块的块指纹相同的三元组数据时，使用该三元组数据对三元组列表进行实时更新：将该三元组数据排列在三元组列表尾端，使用上一分块的长度Size_Chunk更新其前一个三元组数据中的字节长度Size_Chunk+1；在三元组列表中寻找具有与当前分块的块指纹相同块指纹的三元组数据，找到时，且当前分块仅有一个极大值，判定三元组列表为新输入的数据流的对照分块列表，执行步骤f；否则，判定三元组列表需更新，执行步骤b；重复步骤g，直至新输入的数据流剩余长度小于2KB，将剩余长度小于2KB的数据作为最后一个分块，分块完成。