[发明专利]一种分布式文件系统元数据信息的读写方法及系统

说明书

本发明公开了一种分布式文件系统元数据信息的读写方法及系统，其读写方法包括创建用于存储所述分布式文件系统的元数据信息的镜像文件，并将所述镜像文件存储于非易失存储器中；接收所述分布式文件系统运行过程中所产生的所述元数据信息，并将其实时写入所述非易失存储器中的所述镜像文件中；响应于所述分布式文件系统发起的重启指令，从所述非易失存储器中加载所述镜像文件的所述元数据信息，用于重启所述分布式文件系统。本发明可缩短系统重启所需时间，从而提高系统效率及改善用户体验。

技术领域

本发明涉及分布式文件系统技术领域，尤其涉及一种分布式文件系统元数据信息的读写方法、系统、装置及存储介质。

背景技术

大数据是信息产业发展的最重要的技术方向之一。随着海量数据的产生，传统的集中式计算及存储系统难以满足对大数据存储和处理的要求，分布式存储和计算系统得到了广泛的应用。

现有的分布式文件系统一般采用主从结构，包含有多个数据节点和一个名称节点，而名称节点中包含有两个重要的数据结构，一是元数据镜像文件，系统可通过名称节点的元数据镜像文件来维护文件系统树及文件树中所包含的文件夹和文件的所有元数据；二是日志文件，在分布式文件系统运行时会利用日志文件对系统的文件创建、删除、重命名等操作进行记录。

而现有的分布式文件系统发生宕机或掉电等故障的情况时，如图1所示，现有的分布式文件系统的重启方法是首先将本地存储的元数据镜像文件加载至系统内存，再根据日志文件所记录的操作更新内存中的元数据镜像文件，将更新后的元数据镜像文件写回本地存储中并清空日志文件以完成名称节点重启操作，此时系统才可继续运行。

但是，上述现有的重启方法存在如下缺陷：现有的元数据镜像文件在系统运行时一般存储在易失性的内存里，若系统突然出现断电，存储在易失性内存中的数据会丢失，导致系统重启后无法及时获得最新数据；其次，分布式文件系统中本地存储的元数据镜像文件和日志文件通常是采用定期更新方式进行存储，该更新方式并非实时进行的，当名称节点发生宕机或掉电等故障的情况时，本地存储的元数据镜像文件仍然可能未包含最新的命名空间元数据，需要在启动时才利用日志文件进行更新，增加了启动时间；如果重启时日志文件中存储的操作记录较多，则更新元数据文件所需的时间较长，用户需要等待较长的时间才可重新使用系统，影响用户使用体验感。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种分布式文件系统元数据信息的读写方法，可缩短系统重启所需时间，从而提高系统效率及改善用户体验。

本发明的目的之二在于提供一种执行上述读写方法的分布式文件系统。

本发明的目的之三在于提供一种执行上述读写方法的电子装置。

本发明的目的之四在于提供一种执行上述读写方法的存储介质。

本发明的目的之一采用如下技术方案实现：

一种分布式文件系统元数据信息的读写方法，包括：

创建用于存储所述分布式文件系统的元数据信息的镜像文件，并将所述镜像文件存储于非易失存储器中；

接收所述分布式文件系统运行过程中所产生的所述元数据信息，并将其实时写入所述非易失存储器中的所述镜像文件中；

响应于所述分布式文件系统发起的重启指令，从所述非易失存储器中加载所述镜像文件的所述元数据信息，用于重启所述分布式文件系统。

进一步地，所述非易失存储器包括但不限于自旋转移扭矩磁性随机存储器、自旋轨道扭矩磁性随机存储器、磁性赛道存储器、铁电随机存储器。

进一步地，所述分布式文件系统部署有多个数据节点和至少一个名称节点，所述名称节点用于对所有数据节点进行管理；所述镜像文件创建于所述名称节点中，使所述名称节点运行时将更新后的镜像文件实时加载至非易失存储器中。