[发明专利]一种分布式文件系统管理方法及装置

说明书

本发明公开了一种分布式文件系统管理方法及装置，该方法包括元数据管理器接收FTP服务器发送的文件存储指令，然后校验目录路径信息是否已存储，若未存储，则将待存储的文件发送至FastDFS中进行持久化存储，接收FastDFS发送的文件存储信息，建立文件存储信息与目录路径信息的对应关系，生成待存储的文件的元数据，并将待存储的文件的元数据进行缓存。FTP服务器通过与元数据管理器的交互，将文件存储在FastDFS中，并通过文件的元数据查找到文件存储在FastDFS中的存储信息，以使FTP服务器根据该存储信息从FastDFS中访问已经存储的文件，提高FTP服务器的存储稳定性和降低FTP服务器维护的成本。

技术领域

本发明涉及分布式文件系统领域，尤其涉及一种分布式文件系统管理方法及装置。

背景技术

FTP(File Transfer Protocol、文件传输协议)用于因特网上的控制文件的双向传输。FTP服务作为文件传输服务在各行各业有着广泛的应用。随着近年来信息技术的发展，各行各业都先后跨入一个新的时代——大数据时代。

传统FTP文件传输服务的应用方式在大数据时代遇到了很多问题，例如：智能交通应用中，过车图片与违法图片需要通过FTP进行存取。随着城市级过车图片数据的爆炸式增长，最近两年中等城市过车图片与违法图片的存储规模已从总量的百TB级跃升至每三个月PB级，每年存储文件数量超过百亿级别。一般的解决方案是将存储图片的设备分区，每个区部署一套或多套FTP服务，并挂载基于SAN存储服务。此方案一方面对于存储单元划分超过16TB时，会存在不稳定问题，对业务应用造成很大的隐患。另一方面，在每个区部署一套或多套FTP服务实施维护的成本也在不断变高。

发明内容

本发明实施例提供一种分布式文件系统管理方法及装置，用以提高FTP服务的存储稳定性和降低FTP服务维护的成本。

本发明实施例提供的一种分布式文件系统管理方法，包括：

元数据管理器接收FTP服务器发送的文件存储指令，所述文件存储指令包括待存储的文件和所述待存储的文件在所述FTP服务器中的目录路径信息；

所述元数据管理器校验所述待存储的文件在所述FTP服务器中的目录路径信息是否已存储；

若未存储，则所述元数据管理器将所述待存储的文件发送至FastDFS(FastDistributed File System，快速分布式文件系统)中进行持久化存储；

所述元数据管理器接收所述FastDFS发送的文件存储信息，所述文件存储信息是所述FastDFS将所述待存储的文件进行存储之后生成的；

所述元数据管理器建立所述文件存储信息与所述待存储的文件在所述FTP服务器中的目录路径信息的对应关系，生成所述待存储的文件的元数据，并将所述待存储的文件的元数据进行缓存。

较佳地，所述元数据管理器校验所述待存储的文件在所述FTP服务器中的目录路径信息是否已存储，包括：

所述元数据管理器包括热数据缓存器和数据库；

所述元数据管理器从所述热数据缓存器中查找所述待存储的文件在所述FTP服务器中的目录路径信息，若查找到，则所述元数据管理器校验所述待存储的文件已存储；

若未查找到，则所述元数据管理器从所述数据库中查找所述待存储的文件在所述FTP服务器中的目录路径信息，若查找到，则所述元数据管理器校验所述待存储的文件已存储，若未查找到，则所述元数据管理器校验所述待存储的文件未存储。

较佳地，在将所述待存储的文件的元数据进行缓存之后，还包括：

在第一设定时间段之后，所述元数据管理器将所述待存储的文件的元数据进行持久化存储；和/或