[发明专利]支持多作业并行IO性能隔离的文件系统管理方法

说明书

本发明公开了一种支持多作业并行IO性能隔离的文件系统管理方法，包括以下配置：文件资源池的定义：包括：服务数量列表、每个服务器上存储空间配额、静态信息以及每个服务器上该资源池可以使用最大存储性能；文件资源池的分配：并行文件系统提供文件资源池的分配接口，文件资源池请求中包含申请的资源池最大性能、资源池的IO使用方式、包含的数据服务器数量、分配的最大空间；文件资源池的释放：并行文件系统提供文件资源池的释放接口，用户或管理员通过该释放接口完成文件资源池内资源的释放；资源池内负载统计：文件资源池内的数据服务器的负载的评定是通过监控文件的生命周期实现。本发明文件系统管理方法缓解并行I/O过程中进程之间的性能不均衡，提高并行IO性能。

技术领域

本发明属于计算机文件系统管理技术领域，尤其涉及一种支持多作业并行IO性能隔离的文件系统管理方法。

背景技术

高性能计算机系统中的应用执行过程可典型地分成计算、I/O两部分，计算和IO比值决定了计算资源使用的效率，而且高性能计算中的应用多以并行IO的方式进行文件系统的访问。随着计算规模的日益增大，高性能计算平台中往往同时运行着大量的并发应用。这些并发应用共享整个存储系统；应用之间IO访问在存储系统会形成干扰和竞争，会使每个作业在存储系统获得的性能存在波动。目前主流的并行文件系统如lustre、gpfs、ceph等，都将整个存储空间作为一个整体进行管理，采用全局的数据管理方法、先来先服务的消息处理机制。传统并行文件系统中的数据管理方法无法应对高性能计算平台中多作业干扰和并行IO均衡的需求。

发明内容

本发明目的在于提供一种支持多作业并行IO性能隔离的文件系统管理方法，该文件系统管理方法通过资源池之间的性能隔离来避免多作业在并行文件系统中的IO干扰，针对资源池进行性能和负载统计，并根据这些负载信息针对并行I/O进行数据布局，缓解并行I/O过程中进程之间的性能不均衡，提高并行IO性能。

为达到上述目的，本发明采用的技术方案是：一种支持多作业并行IO性能隔离的文件系统管理方法， 包括以下配置：

文件资源池的定义：包括：服务数量列表、每个服务器上存储空间配额、每个服务器上该资源池可以使用最大存储性能以及动态统计信息。资源池在分配后具有唯一的资源池标识符resource_id，高性能计算中的应用通过该resource_id来使用对应的资源池；所述动态统计信息包括每个存储服务器上当前的负载、内存使用信息、已分配的文件数信息；

文件资源池的分配：并行文件系统提供文件资源池的分配接口，文件资源池请求中包含申请的资源池最大性能、资源池的IO使用方式、数据服务器数量、分配的最大空间；当系统接收到这些信息时，会根据用户请求列表，使用多资源分配算法进行数据服务器、可用性能、可用容量的分配；

文件资源池的释放：并行文件系统提供文件资源池的释放接口，用户或管理员通过该释放接口完成文件资源池内资源的释放，释放的内容是在每个服务器上将分配给该资源池的性能资源释放、将存储服务器归还给并行文件系统，在进行资源池释放时，用户至少要提供资源池的资源池标识符resource_id；

资源池内负载统计：文件资源池内的数据服务器的负载的评定是通过监控文件的生命周期实现的，利用并行文件系统元数据服务器实现，在并行文件系统中，当有用户打开文件时，它会与元数据服务器进行交互；当文件关闭时，它仍然需要与元数据服务器交互；利用这个特点，在文件做打开和关闭操作时，通过记录文件对象在数据服务器上的分布情况进行统计近似估算存储服务器的文件操作负载；

所述文件系统管理方法包括配置资源池、应用使用资源池、释放资源池三个阶段：

所述配置资源池包括以下步骤：

S1、配置资源池的总体性能、IO特征、总体容量性能，生成资源池需求配置表，向并行文件系统接收来自通过资源池申请接口的命令；