[发明专利]数据去重的收敛分块方法及装置

摘要

本发明公开了一种数据去重的收敛分块方法。所述方法包括以下步骤：记录数据流的起始位置为一个分块位置，并使滑动窗口从所述起始位置开始逐步向前移动；当所述滑动窗口每移动一步后，判断所述滑动窗口所在的当前位置是否是所述数据流的结束位置；若否，则根据当前分块的长度，动态选择判断条件判断所述当前位置是否为分块位置。本发明还公开了一种数据去重的收敛分块装置。本发明在分块时通过引入所述当前分块的长度作为分块参数，动态地选择放宽或者紧缩分块判断条件，控制了数据块的平均块长，也减少了数据块的总数，提高了去重分块效率。

主权项

一种数据去重的收敛分块方法，其特征在于，所述数据去重的收敛分块方法包括以下步骤：记录数据流的起始位置为一个分块位置，并使滑动窗口从所述起始位置开始逐步向前移动；当所述滑动窗口每移动一步后，判断所述滑动窗口所在的当前位置是否是所述数据流的结束位置；若否，则根据当前分块的长度，动态选择判断条件判断所述当前位置是否为分块位置，如果所述当前位置是分块位置则记录所述当前位置为分块位置，并使所述滑动窗口向前移动一步，所述当前分块为所述滑动窗口当前位置对应所述数据流的位置到所述数据流的上一个分块位置之间的数据块；当所述滑动窗口所在的当前位置是所述数据流的结束位置时，则记录所述结束位置为一个分块位置，并结束分块操作。