[发明专利]重复数据处理方法、装置及存储控制器和存储节点

权利要求书

1.一种重复数据处理方法，其特征在于，应用于存储系统中，所述存储系统中包括：存储控制器，存储装置，所述存储装置中存储有数据分块的指纹代表值和数据分块的指纹值的对应关系，其中，对属于同一数据流中的数据分块的指纹值，按照在所属的数据流中的顺序，在所述的对应关系中连续存放，所述存储控制器与所述存储装置通信，对所述存储装置进行访问和管理；该方法包括：

所述存储控制器接收需要进行重复数据删除的数据流；

将所述数据流划分得到多个数据分块；获取每个数据分块的指纹值；

从所述数据流划分得到的多个数据分块中选择预设数量的数据分块，获取所述选取的每个数据分块的指纹代表值；

在所述存储装置上存储的对应关系中查找与所选择的数据分块的指纹代表值相同的目标指纹代表值，获得所述目标指纹代表值对应的指纹值；

加载所述目标指纹代表值对应的指纹值，以及所述目标指纹代表值对应指纹值所在预设的区域内连续存放的指纹值到所述存储控制器内存中；

将所述加载的指纹值与所述数据流中数据分块的指纹值进行比对，查找所述数据流中的重复数据。

2.根据权利要求1所述的方法，其特征在于，所述对属于同一数据流中的数据分块的指纹值，按照在所属的数据流中的顺序，在所述的对应关系中连续存放，包括：

在所述存储装置中存储数据分块的指纹代表值与数据分块编号之间的第一对应关系，以及数据分块编号与数据分块的指纹值之间的第二对应关系，通过所述数据分块编号，标识对应的指纹值所对应的数据分块所属的数据流，以及在所属数据流中的顺序；根据所述数据分块编号，属于同一数据流的数据分块的指纹值按照在所属数据流中的顺序在所述第二对应关系中连续存放；

所述在所述存储装置上存储的对应关系中查找与所选择的数据分块的指纹代表值相同的目标指纹代表值，获得所述目标指纹代表值对应的指纹值，包括：

在所述存储装置上存储的所述第一对应关系中查找与所选择的数据分块的指纹代表值相同的目标指纹代表值，获得与所述目标指纹值对应的数据分块编号；根据所述目标指纹代表值对应的数据分块的编号，在所述存储装置上存储的所述第二对应关系中查找并获得获得所述目标指纹代表值对应的指纹值。

3.根据权利要求2所述的方法，其特征在于，在所述将所述加载的指纹值与所述数据流中数据分块的指纹值进行比对，查找所述数据流中的重复数据之后，还包括：

获得所述需要进行重复数据删除的数据流中不重复的数据分块；

为所述数据流中不重复的数据分块分配数据分块编号，所述编号标识出了所述不重复数据分块所属的数据流以及在所属数据流中的顺序位置；

将所述不重复的数据分块的数据分块编号与所述不重复数据分块的指纹值之间的对应关系，按照所述不重复数据分块在所属数据流中的顺序插入到所述存储装置中的所述第二对应关系中，使得所述不重复数据分块按照在所述接收的数据流中的位置连续存放在所述第二对应关系中；

存储所述数据流中所获得的不重复的数据分块到所述存储装置上。

4.根据权利要求3所述的方法，其特征在于，所述获得所述需要进行重复数据删除的数据流中不重复的数据分块之后，还包括：

从所述获得的不重复的数据分块中获得预设数量的数据分块以及所获得预设数量的不重复的数据分块的指纹代表值；

在所述为所述数据流中不重复的数据分块分配数据分块编号之后，还包括：

将所述获得的预设数量的不重复数据分块的指纹代表值与其数据分块编号的对应关系插入到所述第一对应关系中。

5.根据权利要求1或2所述的方法，其特征在于，在所述从所述数据流划分得到的多个数据分块中选择预设数量的数据分块，之前还包括：

将所述数据流划分得到的多个数据分块的指纹值与所述存储控制器内存中已经加载的数据指纹值进行比对，初次查找所述数据流中的重复数据以获得所述数据流中不重复的数据；

将在所述数据流中初次查找到的重复数据分块进行重复数据删除。