[发明专利]数据处理方法、装置及重删处理器

摘要

本发明实施例，通过对数据主要按照第一查询单位的数据对应的索引值来做索引，第一查询单位包括了多个最小数据块，通过从每个最小数据块中取出部分比特位来组成对应于第一查询单位的索引值，大大缩减索引匹配时间,提升了索引匹配效率,同时也使得大幅度减少索引对内存的占用称为可能。

主权项

一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括重删处理器，所述方法包括：所述重删处理器将滑动窗口所覆盖的需要重复数据查找的数据作为第一查询单位，所述第一查询单位中包括多个最小数据块，所述最小数据块为进行重复数据查找的最小查询单位的数据块；对所述第一查询单位中的数据进行索引构造和重复数据查找；所述索引构造，包括：从所述第一查询单位中每个最小数据块的指纹值中分别抽取部分比特位，将抽取的比特位组成所述第一查询单位对应的一个预设长度的索引值；所述重复数据查找，包括：在预先设置的索引表中查询是否有与所述第一查询单位对应索引值相同的索引值，若在所述索引表中查询到与所述第一查询单位对应索引值相同的第一索引值，则查找所述第一查询单位中的数据是否有与所述第一索引值对应的数据存储地址指向的目标数据重复的数据。