[发明专利]一种基于Linux高性能数据重删方法

说明书

本发明公开了一种基于Linux高性能数据重删方法，包括如下步骤：创建多个用于重删的重删卷设备和一个用于存放映射表的基准卷设备；创建全局的逻辑块映射散列表，放在基准卷设备上，写入磁盘，并加载到内存备用；每个重删卷设备新增独立的工作线程、工作队列、并创建内存块的hash索引缓存表用作记录当前重删卷的数据块的hash值和物理块号的映射关系，每个重删卷设备首先从当前卷设备的映射表查找，如果检索不到则会触发全局表的查找、更新本地映射表关系；进行重删写入操作；进行重删读取操作。本发明提供了一种创新的数据重删方式，大幅度提高数据重删效率，并随着存储盘的增加整体提升系统处理性能，减少数据的实际存储，节约大量的存储资源。

技术领域

本发明属于计算机领域，具体涉及一种基于Linux高性能数据重删方法。

背景技术

公有云、私有云的迅速发展，越来越多的企业数据服务都部署在云上，大量集中的数据存储耗费更多的存储资源，存储资源的重复更加明显，这时候数据的重复删除能够大量减少硬件成本、减少物理存储的信息，从而节约企业成本。重复数据删除的技术经历了数十年的发展，存在各式各样的问题，最主要的集中在性能和数据的重删率上，例如两个比较突出的业界重删软件系统centos旗下的vdo和oracle的zfs都具备重删功能，但是各自劣势也很明显，vdo基于每个卷设备的数据重删，只能重复删除单块盘的数据，对于跨盘重复的很多场景无法适应，但是因其在独立卷上有独立工作队列的设计，在性能上较为突出。Oracle的zfs则是基于整个逻辑空间的数据重删，解决了全局的数据重复删除，但是单个的队列负责卷组中的若干磁盘设备，导致其性能非常不理想。

发明内容

发明目的：为了克服现有技术中存在的不足，提供一种基于Linux高性能数据重删方法，能够既保障高效的处理性能又提升数据重删率。

技术方案：为实现上述目的，本发明提供一种基于Linux高性能数据重删方法，包括如下步骤：

S1：创建多个用于重删的重删卷设备和一个用于存放映射表的基准卷设备；

S2：创建全局的逻辑块映射散列表，放在步骤S1的基准卷设备上，写入磁盘，并加载到内存备用；每个重删卷设备新增独立的工作线程、工作队列、并创建内存块的hash索引缓存表用作记录当前重删卷的数据块的hash值和物理块号的映射关系，每个重删卷设备首先从当前卷设备的映射表查找，如果检索不到则会触发全局表的查找、更新本地映射表关系；每个卷设备还有一个独立的引用表，用作记录重删引用，并且每个卷设备缓存全局的逻辑块映射散列表；

S3：进行重删写入操作；

S4：进行重删读取操作。

本发明中存在两种类型的卷设备，全局的卷设备（也就是基准卷设备）和用于重删的卷设备。

存在于基准卷设备上的全局块逻辑映射表，由设备卷号、逻辑块号、物理块号、重复引用计数构成的B+树结构，并对设备卷号和逻辑块号组成key值建立索引字段。

hash索引缓存表存在于每一个重删卷设备上，由独立的线程创建并只存在内存中，维护的是磁盘存储设备对应物理块号上的数据进行hash运算的值和物理块号、卷设备号之间的映射关系。此表由卷设备号、物理块号、块数据hash值、重删引用key（该key对应全局表的设备卷号和逻辑块号拼接的字符串，通过该字段查找全局表对应的数据）、重删块读频次、读缓存buffer构成。

每个重删卷设备缓存一份基准卷设备的块映射表，从当前卷设备缓存中的全局表的副本中查询，当查询不到的时候去查询全局，减少全局表的内存IO。

进一步的，所述步骤S2中逻辑块映射散列表放在内存中做为全局索引表，定期更新刷入磁盘。

进一步的，所述步骤S3中重删写入操作的具体过程为：