[发明专利]重复数据处理方法、装置及存储控制器和存储节点

摘要

本发明实施例所提供的重复数据处理方法，通过在数据分块的指纹的代表值和数据分块的指纹值的对应关系中，将属于同一数据流的数据分块对应的指纹值存放到一起，并且按照在数据流中的顺序在所述的对应关系中连续存放，在进行数据分块的全指纹比较中，将连续存放的指纹值加载到内存中进行比较，有效提高了重复数据查找率。

主权项

一种重复数据处理方法，其特征在于，应用于存储系统中，所述存储系统中包括：存储控制器，存储装置，所述存储装置中存储有数据分块的指纹代表值和数据分块的指纹值的对应关系，其中，对属于同一数据流中的数据分块的指纹值，按照在所属的数据流中的顺序，在所述的对应关系中连续存放，所述存储控制器与所述存储装置通信，对所述存储装置进行访问和管理；该方法包括：所述存储控制器接收需要进行重复数据删除的数据流；将所述数据流划分得到多个数据分块；获取每个数据分块的指纹值；从所述数据流划分得到的多个数据分块中选择预设数量的数据分块，获取所述选取的每个数据分块的指纹代表值；在所述存储装置上存储的对应关系中查找与所选择的数据分块的指纹代表值相同的目标指纹代表值，获得所述目标指纹代表值对应的指纹值；加载所述目标指纹代表值对应的指纹值，以及所述目标指纹代表值对应指纹值所在预设的区域内连续存放的指纹值到所述存储控制器内存中；将所述加载的指纹值与所述数据流中数据分块的指纹值进行比对，查找所述数据流中的重复数据。