[发明专利]用于基于哈希表排除数据重复的存储系统，存储控制器及方法

说明书

技术领域

本发明的实施方式涉及用于基于哈希表排除数据重复的存储系统、存储控制器及方法。

背景技术

近年，为了保存在信息处理系统中处理的大规模的数据（大量数据），存储装置的大容量化正在进展。大量数据一般包含较多的重复的数据。为此，在存储装置中保存有大量数据的情况下，该存储装置的记忆区域的一部分被较多的重复的数据所占据。这意味着，存储装置的记忆容量被浪费地使用。因此，为了有效地使用存储装置的受限的记忆容量，需要从应当保存于该存储装置的数据中排除重复的数据。

以下，对现有技术中应用的排除重复的数据的方法的例子进行叙述。存储控制器在对存储装置写入数据的情况下，判定与该应当写入的数据相同的数据是否已被写入到该存储装置。为了进行该判定，存储控制器将应当写入的数据（文件）分割成被称为大块（chunk）的固定长的数据的块。

存储控制器针对每个大块、用哈希函数计算哈希值。存储控制器在将哈希值的计算中所用的大块写入存储装置时，将该哈希值与该大块建立对应并登记到哈希表中。

因此，存储控制器在计算出应当新写入存储装置的第1大块的哈希值时，判定与该哈希值相同的哈希值是否登记于哈希表中。若进一步具体地叙述，存储控制器基于相同的哈希值是否登记于哈希表中，判定与第1大块重复的数据是否已写入到存储装置。存储控制器仅在与第1大块重复的数据未被写入的情况下，将该第1大块写入存储装置。由此，从存储装置排除重复的数据。

在写入到存储装置的大块的数目增多时，与这些大块建立对应并在哈希表中登记的哈希值的数目也增多。因此，现有技术为了登记多个哈希值，应用使用具有相同数目条目的多个表并构成为多级的哈希表。

现有技术文献（专利文献）

专利文献1：日本特开平3-282966号公报

专利文献2：日本特表2012-505440号公报

发明内容

发明要解决的课题

如上所述，在哈希表被用于登记多个哈希值的情况下，保存该哈希表所需的记忆容量也变大。将这种哈希表整体保存于存储控制器具有的存储器是困难的。因此，哈希表一般保存于如保存大量数据所用的大容量的存储装置、或者存储控制器具有的硬盘驱动器（HDD）那样的本地存储装置。另一方面，现有技术应用利用具有相同数目条目的多个表并构成为多级的哈希表。

因此，存储控制器为了比较哈希值而对这种结构的哈希表进行搜索的情况下，在该存储控制器与存储装置之间将产生很多的输入输出（I/O）处理。这样，在伴随着用于排除数据重复的哈希值的比较而产生很多I/O处理时，存储装置的写入性能（写入速度）低下。

本发明要解决的课题在于，提供能够使得用于排除数据重复的哈希表搜索高速化的存储系统、存储控制器及方法。

用于解决课题的手段

根据实施方式，存储系统具备存储装置、存储控制器以及哈希表。所述存储控制器控制对所述存储装置的访问。所述哈希表包含具有第1数目的条目的第1表及具有比所述第1数目大的第2数目的条目的第2表。所述存储控制器具备分割部、哈希生成部、访问控制器、重复管理部以及重复判定部。所述分割部将由来自主计算机的写入请求所指定的数据分割成多个大块。所述哈希生成部基于所述多个大块的各自的数据，计算所述多个大块的各自的具有第1长度的哈希值。所述访问控制器对所述存储装置写入大块。在所述存储装置被写入第1大块的情况下，所述重复管理部将所述第1大块的第1哈希值与所述第1大块建立对应并优先地登记到所述哈希表的所述第1表。所述重复判定部，在计算出第2大块的第2哈希值的情况下，使从所述第1表的搜索优先来执行从所述哈希表搜索与所述第2哈希值一致的第3哈希值的处理，由此判定具有与所述第2大块相同内容的第3大块是否保存于所述存储装置。所述重复管理部，在判定为所述第3大块保存于所述存储装置的情况下，抑制所述第2大块被写入所述存储装置。

附图说明

图1是表示实施方式涉及的计算机系统的典型的硬件结构的框图。

图2是以图1所示的存储控制器的典型的功能结构为主进行表示的框图。

图3是表示通过来自主计算机的写入请求所指定的文件的数据与大块的关系的例子的图。

图4是表示图2所示的哈希表的数据结构例的图。

图5是表示图4所示的哈希表所包含的第1级的表具有的叶页的数据结构例的图。

图6是表示图5所示的管理信息的格式的例子的图。

图7是表示图5所示的其他的管理信息的格式的例子的图。