[发明专利]重复数据处理方法、装置及存储控制器和存储节点

说明书

技术领域

本发明实施例涉及存储技术，尤其涉及重复数据处理方法、装置及存储控制器和存储节点。

背景技术

重复数据删除也称为智能压缩或单一实例存储，是一种可自动搜索重复数据，将相同数据只保留唯一的一个副本，并使用指向单一副本的指针替换掉其他重复副本，以达到消除冗余数据、降低存储容量需求的存储技术。

在现有技术中，为了提升重复删除的效率，现有技术中，通常会将数据聚集起来从而提高数据之间相互关联性，在进行重复删除时，通常接收数据流的物理节点将数据流进行分块得到若干个数据块，将得到的数据块进行分组，针对每个分组，从分组中的数据块的元数据信息中抽样出一部分元数据信息发送到存储系统中的物理节点中去查询是否有重复的元数据信息，当查询到有重复的元数据信息，则会默认为被查询到的元数据周围的元数据和需要进行重复删除的数据流中的数据重复的概率较高，因此，会直接将被查询到的元数据周围的元数据和数据流中的数据进行比较。

但是，发明人发现，在物理节点接收的数据流比较零散，数据I/O较小的情况下，每个数据流之间的数据相互的关联性不确定性很高，采用现有技术的方法，会降低重删率。

发明内容

本发明实施例提供重复数据处理方法、装置及存储控制器和存储节点，以提高重复数据删除率。

本发明实施例第一方面，提供一种重复数据处理方法，应用于存储系统中，所述存储系统中包括：存储控制器，存储装置，所述存储装置中存储有数据分块的指纹代表值和数据分块的指纹值的对应关系，其中，对属于同一数据流中的数据分块的指纹值，按照在所属的数据流中的顺序，在所述的对应关系中连续存放，所述存储控制器与所述存储装置通信，对所述存储装置进行访问和管理；该方法包括：

所述存储控制器接收需要进行重复数据删除的数据流；

将所述数据流划分得到多个数据分块；获取每个数据分块的指纹值；

从所述数据流划分得到的多个数据分块中选择预设数量的数据分块，获取所述选取的每个数据分块的指纹代表值；

在所述存储装置上存储的对应关系中查找与所选择的数据分块的指纹代表值相同的目标指纹代表值，获得所述目标指纹代表值对应的指纹值；

加载所述目标指纹代表值对应的指纹值，以及所述目标指纹代表值对应指纹值所在预设的区域内连续存放的指纹值到所述存储控制器内存中；

将所述加载的指纹值与所述数据流中数据分块的指纹值进行比对，查找所述数据流中的重复数据。

结合第一方面，本发明实施例提供了所述第一方面的第一种可能实施方式，所述对属于同一数据流中的数据分块的指纹值，按照在所属的数据流中的顺序，在所述的对应关系中连续存放，包括：

在所述存储装置中存储数据分块的指纹代表值与数据分块编号之间的第一对应关系，以及数据分块编号与数据分块的指纹值之间的第二对应关系，通过所述数据分块编号，标识对应的指纹值所对应的数据分块所属的数据流，以及在所属数据流中的顺序；根据所述数据分块编号，属于同一数据流的数据分块的指纹值按照在所属数据流中的顺序在所述第二对应关系中连续存放；

所述在所述存储装置上存储的对应关系中查找与所选择的数据分块的指纹代表值相同的目标指纹代表值，获得所述目标指纹代表值对应的指纹值，包括：

在所述存储装置上存储的所述第一对应关系中查找与所选择的数据分块的指纹代表值相同的目标指纹代表值，获得与所述目标指纹值对应的数据分块编号；根据所述目标指纹代表值对应的数据分块的编号，在所述存储装置上存储的所述第二对应关系中查找并获得获得所述目标指纹代表值对应的指纹值。

结合第一方面的第一种可能实现方式，本发明实施例提供了第一方面的第二种可能的实现方式，在所述将所述加载的指纹值与所述数据流中数据分块的指纹值进行比对，查找所述数据流中的重复数据之后，还包括：

获得所述需要进行重复数据删除的数据流中不重复的数据分块；

为所述数据流中不重复的数据分块分配数据分块编号，所述编号标识出了所述不重复数据分块所属的数据流以及在所属数据流中的顺序位置；

将所述不重复的数据分块的数据分块编号与所述不重复数据分块的指纹值之间的对应关系，按照所述不重复数据分块在所属数据流中的顺序插入到所述存储装置中的所述第二对应关系中，使得所述不重复数据分块按照在所述接收的数据流中的位置连续存放在所述第二对应关系中；

存储所述数据流中所获得的不重复的数据分块到所述存储装置上。