[发明专利]存储系统的数据去重方法及装置、计算机装置及存储介质

说明书

本发明实施例公开了一种存储系统的数据去重方法，该方法包括：接收内存设备发送的数据写入请求；根据该请求，将该请求所指示的数据划分为预设粒度的数据块，计算数据块的指纹；查询内存设备的热点指纹库，并判断该指纹库中是否存在所述指纹，内存设备包括：第一文件元数据库及热点指纹库；若不存在，则查询全闪存阵列的去重指纹库，并判断去重指纹库中是否存在所述指纹，全闪存阵列包括：第二文件元数据库、数据区域及去重指纹库；若去重指纹库中存在所述指纹，则确定该数据块属于重复数据，将数据区域中的所述数据块及相邻数据块所对应的指纹序列发送至内存设备的热点指纹库中，并将数据块的元数据信息存储至第二文件元数据库中。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种存储系统的数据去重方法及装置、计算机装置及存储介质。

背景技术

数据去重又称重复数据删除(Data Deduplication)，是一种应用在存储系统中的全局地识别和消除冗余数据的技术，成为近些年来存储系统研究的热点。数据去重通过计算数据块的安全哈希摘要(比如SHA1指纹)来唯一识别数据块，避免了数据的逐个字符的匹配，而且存储系统只需要简单地维护安全哈希摘要的索引表，就可以实现快速方便地识别重复数据，具有良好的可扩展性；重复的数据内容只需要记录相应的数据指针信息即可达到节省存储空间的目的；所以数据去重技术能够极大地节省存储空间从而提高存储设备的资源利用率。

数据去重指纹一般使用的是SHA1哈希摘要(20个字节)，如果是4TB的数据，按照4KB的数据块粒度，那就是有1G个数据块，指纹总大小20GB，如果把指纹放在内存中，这将非常消耗内存资源，如果全部放在全阵列闪存上组织索引，这样的查找速度将慢很多。

故如何在内存设备及全闪存阵列之间设置数据存储策略，是提高存储系统IO性能的一个重要途径。

发明内容

本发明实施例提供了一种存储系统的数据去重方法及装置、计算机装置及存储介质，用于提高存储系统中数据去重速度和数据写入速度。

本发明第一方面提供了一种存储系统的数据去重方法，包括：

接收内存设备发送的数据写入请求；

根据数据写入请求，将数据写入请求所指示的数据划分为预设粒度的数据块，并计算数据块的指纹；

查询内存设备的热点指纹库，并判断热点指纹库中是否存在指纹，内存设备包括：第一文件元数据库及热点指纹库；

若热点指纹库中不存在指纹，则查询全闪存阵列的去重指纹库，并判断去重指纹库中是否存在指纹，全闪存阵列包括：第二文件元数据库、数据区域及去重指纹库；

若去重指纹库中存在指纹，则确定该数据块为重复数据，将数据区域中的数据块及相邻数据块所对应的指纹序列发送至内存设备的热点指纹库中，并将数据块的元数据信息存储至第二文件元数据库中，所述元数据信息包括：所述数据块在所述数据段中的顺序、所述数据块的物理存储地址及所述数据块的长度。

优选的，数据区域包括多个数据容器，数据容器用于存储多个连续数据块及多个连续数据块对应的指纹序列；

将数据区域中的数据块及相邻数据块所对应的指纹序列发送至内存设备的热点指纹库中，包括：

将数据块所在的数据容器中的指纹序列发送至内存设备的热点指纹库中。优选的，在判断热点指纹库中是否存在所述指纹之后，该方法还包括：

若热点指纹库中存在所述指纹，则确定该数据块为重复数据，并将数据块的元数据信息存储至第一文件元数据库中，所述元数据信息包括：所述数据块在所述数据段中的顺序、所述数据块的物理存储地址及所述数据块的长度。

优选的，在判断去重指纹库中是否存在所述指纹之后，该方法还包括：