[发明专利]一种搭建并行文件系统的方法及装置

说明书

本发明公开了一种搭建并行文件系统的方法，包括如下步骤：S1、在多个计算节点中的每个计算节点上创建临时文件系统；S2、根据所述临时文件系统创建所述计算节点的内存目录；以及S3、基于所述内存目录由所述多个计算节点创建并行文件系统。本发明还公开了一种搭建并行文件系统的计算机设备和可读存储介质。本发明提出的搭建并行文件系统的方法及装置可以基于计算节点的内存创建并行文件系统，并可以利用计算节点额外的内存做成统一命名空间。

技术领域

本发明涉及文件系统领域，更具体地，特别是指一种搭建并行文件系统的方法及装置。

背景技术

高性能计算(High performance computing，缩写HPC)指通常使用很多处理器(作为单个机器的一部分)或者某一集群中组织的几台计算机(作为单个计算资源操作)的计算系统和环境。有许多类型的HPC系统，其范围从标准计算机的大型集群，到高度专用的硬件。大多数基于集群的HPC系统使用高性能网络互连，比如那些来自InfiniBand或Myrinet的网络互连。基本的网络拓扑和组织可以使用一个简单的总线拓扑，在性能很高的环境中，网状网络系统在主机之间提供较短的潜伏期，所以可改善总体网络性能和传输速率。

目前常用的分布式缓存方案，主要指缓存用户经常访问数据的缓存，数据源为数据库。一般起到热点数据访问和减轻数据库压力的作用。在高性能计算中，数据源为各种高性能计算的应用程序产生的数据。这种数据数据类型复杂，一般存放在专用的并行文件系统上面。因此，现有的分布式缓存方案不适用于高性能计算应用场景。单一并行文件系统方案搭建复杂，投资成本高，性能不能满足需求。

发明内容

有鉴于此，本发明实施例的目的在于提出一种将计算节点的内存组成统一的目录，基于内存构建并行文件系统的方法，并能够利用计算节点的额外内存做成统一命名空间。

基于上述目的，本发明实施例的一方面提供了一种搭建并行文件系统的方法，包括如下步骤：S1、在多个计算节点中的每个计算节点上创建临时文件系统；S2、根据所述临时文件系统创建所述计算节点的内存目录；以及S3、基于所述内存目录由该多个计算节点创建并行文件系统。

在一些实施方式中，多个计算节点通过网络连接。

在一些实施方式中，临时文件系统为tmpfs文件系统。

在一些实施方式中，内存目录配置用于利用计算节点的内存。

在一些实施方式中，步骤S3包括：预先设置主机名称。

在一些实施方式中，步骤S3还包括：编写计算节点列表，每个计算节点对应一个预先设置的主机名称。

在一些实施方式中，步骤S3还包括：将该多个计算节点配置为使其中任意一个计算节点都能与其他计算节点进行通信。

在一些实施方式中，并行文件系统包括BeeOND文件系统。

本发明实施例的另一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令在被处理器运行时执行上述的方法。

本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时执行上述的方法。

本发明具有以下有益技术效果：可以将计算节点的内存组成统一的目录，基于计算节点的内存构建并行文件系统，并能够利用节点额外的内存做成统一命名空间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。