[发明专利]一种在线数据去重文件系统数据访问性能优化方法

摘要

本发明公开了一种在线数据去重文件系统数据访问性能优化方法。数据时代的到来，数据总量呈现爆炸式的增长，信息世界的数据存储和管理需求已经达到PB甚至EB级。IDC研究发现，在数字世界中接近75％的数据都是冗余的，ESG指出在备份和归档系统中数据冗余度超过90％。在线数据去重文件系统将数据去重应用到文件系统当中，能够有效消除冗余数据，降低数据存储的成本。同时文件系统作为一个通用的数据存储层能够为上层应用提供存储后端服务。但是，直接将数据去重技术应用到文件系统当中会导致读性能降低，同时垃圾回收性能也降低。本发明能够提高在线数据去重文件系统的读性能；同时能够加速在线数据去重文件系统的垃圾回收速度。

主权项

1.一种在线数据去重文件系统数据访问性能优化方法，其特征在于，为每一个数据块指定一个全局的唯一ID地址，同时将该ID地址写入到指纹索引和逻辑文件当中，当进行数据读取时，过程如下：1)从逻辑文件当中读取对应数据块的位置信息；2)根据上述位置信息，从磁盘读取对应数据块；当进行数据块回收时，过程如下：1)从逻辑文件中读取对应数据块的位置信息，即读取该数据块的ID地址；2)通过ID地址乘以引用计算数值，得到该ID地址在引用计数文件的偏移值，根据偏移值，通过一次磁盘读取获得对应的引用计算数值；3)对该引用计算数值做减一操作，判断其值；4)如果该引用计算数值大于零，那么将该引用计算数值写回引用计数文件当中；如果该值等于零，则从指纹索引当中删除对应的指纹，同时回收该ID地址和对应数据块的存储空间。