[发明专利]一种元数据重建方法、设备及系统

说明书

技术领域

本发明涉及分布式文件系统技术领域，尤其涉及一种元数据重建方法、设备及系统。

背景技术

分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络将多台计算机上的存储资源整合起来，提供一个全局的命名空间，当访问这个文件系统时，客户看到的目录结构是一致的。

分布式文件系统中包括两类节点设备，一类为数据节点设备，命名为DataServer，用来存储用户实际需要的文件资源，另一类为仲裁节点设备，命名为Master，用来保存元数据，元数据为关于实际文件资源的名称、文件大小、存储路径、修改时间、访问时间等信息的数据。当用户访问分布式文件系统时，必须首先访问仲裁节点来获取元数据信息，才能进一步查询到所需的文件资源，因此，元数据在分布式文件系统中起到非常重要的作用，元数据的安全决定了整个系统的安全。

为了确保元数据的安全，传统的分布式文件系统一般采用Master集群的方式，即将主用Master(能够为用户提供服务的Master)上的元数据拷贝多份，存储到多个不同的设备上，形成多个备用Master。然而，这种方式具有以下缺点：每当数据节点上的文件资源发生改变时，都需要主用Master和备用Master同步更新元数据，由于备用Master的更新是由主用Master在自身更新完之后复制过去的，因此不能保证备用Master上所保存的元数据与主用Master上的元数据时刻保持一致性，而且这种更新过程大大降低了整个文件系统的性能，使得用户响应时间延长；当主用Master损坏后，需要将备用Master上的元数据复制回来，这种重建元数据的过程耗时较长，在元数据重建期间主用Master不能正常为用户提供服务，并且一旦在重建过程中备用Master也出现异常(例如机器、硬盘等出现故障，使得备用Master也被损坏)，则元数据就可能会因此丢失，整个系统就将彻底崩溃。

发明内容

本发明提供一种元数据重建方法、设备及系统，仲裁节点Master通过从各数据节点DataServer收集元数据信息来完成本地元数据的重建，保障了Master上元数据的安全性。

本发明方法包括：

一种元数据重建方法，包括：

仲裁节点Master确定本地元数据丢失后，发送元数据汇报命令给分布式文件系统中的所有数据节点DataServer，其中，所述本地元数据为所述Master存储的、分布式文件系统中所有文件的元数据信息；

Master接收DataServer返回的所述DataServer自身所存储的文件的元数据信息；

Master根据接收的元数据信息，重建本地元数据。

一种元数据重建方法，包括：

数据节点DataServer接收仲裁节点Master发送的元数据汇报命令；

DataServer将自身所存储文件的元数据信息返回给Master。

一种仲裁节点Master设备，包括：

发送汇报模块，用于确定本地元数据丢失后，发送元数据汇报命令给分布式文件系统中的所有数据节点DataServer设备，其中，所述本地元数据为所述Master设备存储的、分布式文件系统中所有文件的元数据信息；

总接收模块，用于接收DataServer设备返回的所述DataServer设备自身所存储的文件的元数据信息；

重建模块，用于根据接收的元数据信息，重建本地元数据。

一种数据节点DataServer设备，包括：

汇报接收模块，用于接收仲裁节点Master设备发送的元数据汇报命令；

汇报模块，用于将所述DataServer设备自身所存储文件的元数据信息返回给Master设备。

本发明提供一种元数据重建方法、设备及系统，仲裁节点Master丢失元数据之后，从各数据节点DataServer收集元数据信息完成本地元数据的重建，保证了只要DataServer上原文件还存在，就能将系统的元数据完整重建出来。

附图说明

图1为本发明的对应仲裁节点Mater的一种元数据重建方法流程图；

图2为本发明的对应数据节点DataServer的一种元数据重建方法流程图；

图3为本发明实施例提供的一种分布式文件系统结构示意图；

图4为本发明实施例提供的一种仲裁节点Master设备；