[发明专利]一种重复数据的删除方法及装置

说明书

本发明公开了一种重复数据的删除方法及装置，包括：在文件读写频率表中查询与待写入的目标文件相似的文件的读写频率，并判断所述读写频率是否大于预定阈值；若是，则将所述目标文件写入新分配的磁盘空间中；若否，则通过重复数据删除策略将所述目标文件写入新分配的磁盘空间。可见，在本实施例中通过将重复数据删除策略的执行与文件的读写频率相结合，对读写频次数较高的文件不对其执行重复数据删除操作，从而减少磁盘碎片，减少寻道时间，提高系统的性能，实现了更合理的删除重复数据。

技术领域

本发明涉及计算机存储技术领域，更具体地说，涉及一种重复数据的删除方法及装置。

背景技术

随着IT技术的不断发展中，许多行业呈现出数字化迅猛发展趋势，信息存储的应用领域越来越广泛，加之云技术、云存储的应用，企业数据中心存储需求量越来越庞大，数据量呈指数级增长，已从以前的TB级上升到PB级，甚至EB级别。同时，研究表明，在应用系统所保存的数据中，大量的重复数据造成了存储资源的严重浪费，因此存储系统中数据高冗余问题受到越来越多的关注，如何缩减存储系统数据存储容量已经成为一个非常紧迫而且有必要的问题，而重复数据删除技术是其中一种容量优化技术，他通过查找文件中的重复数据块，然后将其用索引/元数据进行取代，也就是说不同文件或相同文件可以通过共享一份同样的数据块，将其与重复的数据块进行删除以达到减少存储容量的目的。

基于块的重复数据删除是目前主流的重复数据删除方法，他是一种在线删除数据的方法，即不需要开辟空间缓存数据量，而是随着数据流的输入不断执行重复数据删除操作。然而这种在线重复数据删除方法同时存在很多问题，最主要的就是影响系统的性能，尤其是当数据量特别大时，在查找重复数据的过程中会耗费大量时间。同时，由于重复的数据使用索引的方式从而使文件会有更多的碎片造成数据再读写过程中需要耗费更多的寻道时间。这一切都造成系统响应延迟，严重时甚至延迟的代价高于数据冗余的代价。

因此，如何合理的删除重复数据是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种重复数据的删除方法及装置，以实现合理的删除重复数据。

为实现上述目的，本发明实施例提供了如下技术方案：

一种重复数据的删除方法，包括：

在文件读写频率表中查询与待写入的目标文件相似的文件的读写频率，并判断所述读写频率是否大于预定阈值；

若是，则将所述目标文件写入新分配的磁盘空间中；若否，则通过重复数据删除策略将所述目标文件写入新分配的磁盘空间。

优选的，通过重复数据删除策略将所述目标文件写入新分配的磁盘空间之后，包括：

将文件读写频率表中的与所述目标文件相似的文件的读写次数加一。

优选的，还包括：

将读写频率大于预定频率阈值的文件作为原始文件，并检测所述原始文件是否引用其他数据；

若是，则检测所述原始文件的内存值及所述原始文件的引用数据的内存值；

向所述原始数据分配目标内存空间，并将所述原始数据和所述原始数据的引用数据写入所述目标内存空间；其中，所述目标内存空间的内存值不小于所述原始文件的内存值与所述原始文件的引用数据的内存值之和。

优选的，还包括：

检测内存中的哈希索引表的所占内存是否大于预定内存阈值；

若是，则清除所述哈希索引表中比对次数小于预定次数阈值的哈希值数据。

优选的，还包括：

遍历文件inode中的extent信息；