[发明专利]基于重复数据删除的共享方法

说明书

技术领域

本发明属于数据存储领域，涉及一种支持重复数据删除并且在NAS(Network Attached Storage，网络附属存储)的共享功能中应用方法。

背景技术

互联网时代，是数据爆炸增长的时代，数据存储的压力不容小觑，重复数据删除技术日趋成熟，应用也越来越广泛，在各行各业涉及存储相关的行业领域都发挥着极大的作用。

传统存储当中的NAS应用范围的广泛不言而喻，为了进一步解决前端的存储压力，重复数据删除技术应用面继续扩大。拥有大量市场的NAS成为了新的发展方向。

为了要做到对于各共享协议统一支持，将重复数据删除技术结合到透明文件系统内部支持POSIX(可移植操作系统标准接口)，来对各共享协议提供共享目录，进而做到统一支持。

重复数据删除技术由于面临着数据更新会导致数据变更较多而引起数据安全性问题，因而应用也仅限于备份、归档类的追加写操作相关的应用。

发明内容

为了提升传统NAS数据存储能力，本发明提供一种基于重复数据删除的共享方法，通过将重复数据删除技术融合到各共享协议内部来实现存储能力优化的功能，应用局部索引，最大限度地将更新所带来的附加变更减少甚至避免，从而使系统适用面进一步的扩大。

本发明提供的一种基于重复数据删除的共享方法，在NAS的重复数据删除系统中，对数据块建立局部索引。

当NAS接收到客户端发送来的写请求时，执行如下过程：申请内存，对待写入数据分块并计算各数据块指纹，对每个数据块建立局部索引，存储数据块的局部索引。一个数据块的局部索引的存储位置与该数据块的指纹相关联。

当NAS接收到客户端发送来的读请求时，执行如下过程：获取待读取数据块的指纹，根据数据块的局部索引，读取数据块。

对数据块建立局部索引的方法是：根据数据块指纹，确定指纹特征值；根据指纹特征值为该数据块分配至某个存储分区的桶中存储；最后得到数据块的局部索引，包括数据块指纹、存储的分区号和桶号。

所述的指纹特征值，包含8个字节，其中，前四个字节与存储分区数量相除取余，得到的余数为数据块的存储分区号，后四个字节与存储分区中的桶数量相除取余，得到的余数为数据块在该区存储的桶号。

本发明的优点和积极效果在于：本发明实现了重复数据删除技术的应用领域的扩大，实现了对传统存储NAS的一个技术突破，达到了优化存储设备的存储能力的目的；有效提升了存储介质的价值，降低了用户的维护成本，节约了电能。

附图说明

图1是NAS各共享协议和重复数据删除系统部署示意图；

图2是重复数据删除系统逻辑结构图；

图3是局部索引计算流程图；

图4是重复数据删除系统局部索引结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图进一步对本发明技术方案进行详细说明。

本发明基于重复数据删除的共享方法，能够支持多种共享协议(NFS/SAMBA/FTP)，在分析当前主流重复数据删除方法基础上，实现采用变长、定长结合局部索引的方式，同时提供了标准的POSIX接口对多种共享协议达到了无缝支持。本发明方法解决了支持在线删除、更新等重复数据删除技术的难点，通过多级局部索引实现了数据更新简单化，同时安全性也能够满足用户需求。

在线数据更新，会导致数据变更较多，此时所接收的数据是乱序的，需要将数据放入缓存中，将接收到的数据按序排列，再从缓存移入磁盘中。但是，这种方式会造成缓存的数据量大，而数据还不能写入磁盘，此时可能会出现数据丢失或者乱序，导致数据不安全。本发明方法通过对数据进行分块，然后在磁盘中设置分区分桶，根据数据块的指纹来指定数据块存储的位置，这样当缓存中有部分按序的数据时，就可以先将这部分数据移入磁盘，大大减少了缓存区的数据量。这种通过分区分桶的策略再加上对内存阈值设定就可以做到了对机器的内存占用的控制，在降低交换分区使用的同时也有效提升了系统的性能。随着内存数据积压降低，系统的资源(CPU、内存、网络、磁盘)分配情况也更加均衡，不会出现资源占用繁重的情况。同时也有效的保证了用户请求响应的延时较低。

本发明方法中采用的局部索引是经过一系列计算和部分持久化信息共同得出的，通过数据块指纹特征值提取、数据分区、指纹桶分配计算等一系列计算得出。局部索引意在将索引全局离散、局部聚集进而做到了高效的存取操作。特征值提取意在将指纹分散在各个数据分区内，指纹桶分配又是将各分区的近似或相同指纹聚集在一起，进而达到了全局离散局部聚集的效果。