[发明专利]一种存储系统的重删模块的性能优化方法、系统及装置

说明书

本发明提供一种存储系统的重删模块的性能优化方法、系统及装置，均基于全零数据识别单元且能够：主机下发io数据至逻辑卷；逻辑卷对主机下发的io数据进行粒度划分，并下发至全零数据识别单元；全零数据识别单元识别出逻辑卷下发的数据中的全零数据，并将逻辑卷下发的数据中的非全零数据下发至存储系统的重删模块；全零数据识别单元在识别出逻辑卷下发的数据中的全零数据后，建立系统中预设的用于存放全零数据的物理地址与识别出的全零数据的存放卷地址之间的映射关系；重删模块对全零数据识别单元下发的非全零数据进行重删处理。本发明用于对存储系统中重删模块进行性能优化，以提高存储系统的性能与带宽。

技术领域

本发明涉及存储领域，具体涉及一种存储系统的重删模块的性能优化方法、系统及装置。

背景技术

在大数据时代，单纯依靠提升存储容量，远远赶不上数据增加的速度，因此数据重删技术诞生。

数据重删，即重复数据删除(Deduplication)，是一种可自动识别并删除重复数据的技术，属于一种高级的数据压缩方式。开启数据重删功能后，系统将通过算法识别重复数据，并将相同数据只保留一个副本而删除多余的重复数据，原来的重复数据则被替换成指向保留的单一副本的引用。通过这种方式达到消除冗余数据、降低存储容量需求的目的。

固态硬盘(SSD盘)存在寿命限制。数据写入后再处理的方式，需要先将数据写到磁盘上，在空闲时再将数据读上来进行重复数据删除，之后再写入存储空间中，其相比在线处理增加了一次写操作，这增加了SSD盘的磨损，缩短了其使用寿命。所以，全闪存阵列中通常采用在线方式实现重复数据删除压缩。

重复数据删除技术在空间节省及io效率方面起到了明显的提升作用，但是，这项技术在现有技术中的使用流程(如图4所示)通常为：

(1)主机下发数据(io)，然后卷将数据按照重删算法所采取的分块方式划分为不同粒度，并下发到重删模块；

(2)重删模块通过哈希算法计算数据的指纹值，判断指纹值是否为全零数据指纹值，若不是，进行下一步流程；若是，则对比数据是否为全零数据，若是，则直接处理全零数据，建立LP映射关系和PL映射关系，结束本次流程，若否，则不是全零数据(哈希冲突)，则将数据单独落盘(即存储至PBA)；

(3)通过计算出的指纹值到指纹库查询，判断指纹库是否存在该指纹值，若存在，则按照重复数据进行处理，若不存在，则按照非重复数据进行处理；

(4)非重复数据处理时，将数据的指纹值插入到指纹库，然后将数据正常落盘，并将数据的逻辑地址与物理地址建立映射，以便下次相同数据下发时，指纹库中存在了相同的指纹值，即可识别为重复数据。

针对以上流程，在实际的测试中发现，存储系统开重删模块的性能大概是不开重删模块时的70-80％之间。可见现有技术在开重删模块时，影响到系统的性能与带宽。

为此，本发明提供一种存储系统的重删模块的性能优化方法、系统及装置，用于解决上述问题。

发明内容

针对现有技术的上述不足，本发明提供一种存储系统的重删模块的性能优化方法、系统及装置，用于对存储系统中重删模块进行性能优化，以提高存储系统的性能与带宽。

第一方面，本发明提供一种存储系统的重删模块的性能优化方法，该性能优化方法基于全零数据识别单元，所述全零数据识别单元采用硬件实现，该性能优化方法包括步骤：

主机下发io数据至逻辑卷；

逻辑卷对主机下发的io数据进行粒度划分，并下发至全零数据识别单元；

全零数据识别单元识别出逻辑卷下发的数据中的全零数据，并将逻辑卷下发的数据中的非全零数据下发至存储系统的重删模块；