[发明专利]一种具有与并行文件系统结合的重复数据删除文件系统的架构及方法

摘要

本发明是一种具有与并行文件系统结合的重复数据删除文件系统的架构及方法，所述架构在客户端设备部署有重复数据删除系统文件访问接口，重复数据删除网关上部署有重复数据删除处理引擎和数据迁移系统，并行文件系统提供访问接口给客户端设备和重复数据删除网关，重复数据删除处理引擎和数据迁移系统实现对文件数据的重复数据删除、还原及迁移处理。本发明方法将并行文件系统中达到迁移条件的数据迁移到重复数据删除文件系统中存储，对迁移的数据进行重复数据删除，实现从客户端设备读取已迁移数据的操作。本发明在已有并行文件系统中透明地加入重复数据删除文件系统，降低对业务系统的影响，节省了存储空间，降低了数据中心管理成本和能耗成本。

主权项

一种具有与并行文件系统结合的重复数据删除文件系统的架构，包括客户端设备、并行文件系统集群、和存储设备；客户端设备之上运行业务系统，生成数据流；并行文件系统集群部署并行文件系统，并行文件系统对外提供并行文件系统访问接口；存储设备用于存储数据信息；其特征在于，所述的与并行文件系统结合的重复数据删除系统，还包括重复数据删除网关集群，重复数据删除网关集群中包括一个以上的重复数据删除网关，重复数据删除网关上部署有重复数据删除处理引擎和数据迁移系统，重复数据删除处理引擎对并行文件系统存储的数据进行重复数据删除处理及还原处理，数据迁移系统将并行文件系统中达到迁移条件的数据迁移到重复数据删除文件系统中存储；客户端设备和重复数据删除网关通过并行文件系统访问接口，对并行文件系统存储的数据进行读写删除操作；重复数据删除处理引擎对数据进行处理的方法是：首先，读取数据并对数据分块，计算每个数据块的指纹，然后，对每个数据块的指纹在数据块索引表中查询，若查询到，则该数据块已经存在，不再进行存储，否则，该数据块为新数据块，存储该数据块到数据块仓库中，并在数据块索引表中生成对应的元组；所述的数据块索引表用于数据块的查重操作，元组格式为<数据块指纹、数据块所在文件、数据块在文件内的偏移量，数据块长度，数据块引用计数>；所述的数据块仓库设置在存储设备上；数据迁移系统通过并行文件系统访问接口，定期扫描并行文件系统中的文件，将达到迁移条件的文件，迁移到重复数据删除文件系统的中，并在并行文件系统中为原文件建立与迁移后文件的关联，迁移后的文件通过重复数据删除处理引擎处理后存储，在数据块映射表中生成该文件对应的元组，每个元组的格式为<文件唯一标识，ChunkFP1，ChunkFP2，…，ChunkFPi，…>，其中，ChunkFPi表示第i个数据块的指纹；客户端设备通过重复数据删除系统文件访问接口，在重复数据删除文件系统中访问从并行文件系统设备中迁移的文件，具体是：在并行文件系统中，根据原文件与迁移后文件的关联，重定向到重复数据删除系统文件中迁移后的文件，从数据块映射表中找到该文件所包含的数据块的指纹，根据数据块指纹，从数据块索引表中找到相应数据块的存储地址，从数据块仓库中读取数据，所读取的数据通过重复数据删除文件系统访问接口返回给客户端设备1。