[发明专利]一种在线数据去重文件系统数据访问性能优化方法

说明书

本发明公开了一种在线数据去重文件系统数据访问性能优化方法。数据时代的到来，数据总量呈现爆炸式的增长，信息世界的数据存储和管理需求已经达到PB甚至EB级。IDC研究发现，在数字世界中接近75％的数据都是冗余的，ESG指出在备份和归档系统中数据冗余度超过90％。在线数据去重文件系统将数据去重应用到文件系统当中，能够有效消除冗余数据，降低数据存储的成本。同时文件系统作为一个通用的数据存储层能够为上层应用提供存储后端服务。但是，直接将数据去重技术应用到文件系统当中会导致读性能降低，同时垃圾回收性能也降低。本发明能够提高在线数据去重文件系统的读性能；同时能够加速在线数据去重文件系统的垃圾回收速度。

技术领域

本发明涉及在线数据去重文件系统读性能优化技术领域，具体涉及一种提高在线数据去重文件系统读性能和加速垃圾回收速度的方法。

背景技术

随着数据时代的到来，全世界的数据总量呈现爆炸式增长的趋势。IDC研究表明到2020年，全世界每年的数据增长量将从2009年的0.8ZB增长44倍到35ZB。随着移动设备和传感器等设备的增加更是使得数据的增长加剧，这些数据来源包括人类的基因、社交网络、金融分析、环境保护、能源勘探、电子游戏以及医疗卫生等越来越多的应用领域。这些数据不仅总量巨大，而且数据结构复杂多样，这给数据的存储和管理带来新的挑战，同时也使得数据管理的风险上升。如何有效的管理、组织和运维这些数据对一个企业甚至是个人都具有巨大的价值。数据去重作为一种新型的大规模冗余数据消除技术被广泛的应用于数据中心、存储系统和备份系统，数据去重技术能够有效的降低存储成本。同时，重复数据去重也从二级存储向主存储延伸，不仅仅用于归档和备份系统，也用于虚拟机环境、内存管理和远程数据传输等场景下数据的管理。

尽管之前在数据去重方面已经有非常多的研究，但是对于在线数据去重文件系统来说依然有很多问题需要解决，其中以读路径上的性能问题最为突出：

减少读路径上的读延迟：为了恢复一个数据块，传统数据去重系统中需要多次的磁盘访问：(1)首先，从磁盘中读取逻辑文件(File Recipes)获得对应数据块的指纹信息(2)然后，通过在指纹索引表中查找对应的指纹，获得对应数据块在磁盘中位置信息；(3)最后，根据对应数据块在磁盘中的位置信息读取对应的数据块。值得注意的是指纹查找本身就是数据去重技术主要的性能瓶颈，另外访问磁盘中的元数据也会带来额外的开销。传统的数据去重系统通过重写容器算法(Rewriting Containers)，容器覆盖算法(Capping)和选择性去重算法(Selective Deduplication)提高读性能。但是最新研究表明这种近似去重的方法并不能降低整体的存储成本。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种在线数据去重文件系统数据访问性能优化方法，提高在线数据去重文件系统读性能和加速垃圾回收。

本发明的目的可以通过采取如下技术方案达到：

一种在线数据去重文件系统数据访问性能优化方法，将唯一数据块的ID地址和指纹索引表解耦，将唯一数据块的ID地址同时写到逻辑文件和指纹索引当中。如果按照传统的数据去重系统的方法只在逻辑文件当中记录指纹信息，那么读取数据块的需要如下步骤：

1)从逻辑文件当中读取对应数据块的指纹信息；

2)根据这个指纹信息，查询指纹索引表获得对应数据块所在位置的信息。需要注意的是，指纹索引是大家公认的性能瓶颈，获取数据块所在位置信息的过程当中极有可能多次离散的访问磁盘。在数据读取过程当中如果频繁访问指纹索引会增加读路径上的时延；

3)根据所获得的数据块位置信息，读取对应的数据块。

将数据块的ID地址同时写入指纹索引和逻辑文件当中，那么读取数据的需要的步骤如下：

1)从逻辑文件当中读取对应数据块的位置信息；