[发明专利]一种分布式文件系统提升性能的方法和设备

说明书

本发明提供了一种分布式文件系统提升性能的方法和设备，该方法包括以下步骤：响应于接收到写请求，将接受到的写请求放在写请求队列上；响应于处理设备完成上一个写请求，根据预设条件将写请求队列上的所有写请求中的多个写请求进行合并；根据合并后的写请求将数据从硬盘中写入内存；响应于写请求队列上可合并的写请求对应的数据全部写入内存，将内存中的数据刷新到硬盘上。通过使用本发明的方案，能够减少碎片式读写请求到逻辑条带转换的写放大，对于有大量碎片式读写的应用场景成倍的提高分布式文件系统性能。

技术领域

本领域涉及计算机领域，并且更具体地涉及一种分布式文件系统提升性能的方法和设备。

背景技术

分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点(可简单的理解为一台计算机)相连。分布式文件系统的设计基于客户机或服务器模式，一个典型的网络可能包括多个供多用户访问的服务器。

分布式文件系统有着与单机文件系统不同的读写模式，每一个客户端应用读写请求的数据块在需要落盘之前需要多副本或者纠删处理后落盘，底层单机文件系统模块的请求合并并不能处理副本和纠删处理前的请求，对于同一逻辑块内连续的多个IO请求将会产生读写放大。

发明内容

有鉴于此，本发明实施例的目的在于提出一种分布式文件系统提升性能的方法和设备，通过使用本发明的方法，能够减少碎片式读写请求到逻辑条带转换的写放大，对于有大量碎片式读写的应用场景成倍的提高分布式文件系统性能。

基于上述目的，本发明的实施例的一个方面提供了一种分布式文件系统提升性能的方法，包括以下步骤：

响应于接收到写请求，将接受到的写请求放在写请求队列上；

响应于处理设备完成上一个写请求，根据预设条件将写请求队列上的所有写请求中的多个写请求进行合并；

根据合并后的写请求将数据从硬盘中写入内存；

响应于写请求队列上可合并的写请求对应的数据全部写入内存，将内存中的数据刷新到硬盘上。

根据本发明的一个实施例，响应于处理设备完成上一个写请求，根据预设条件将写请求队列上的所有写请求中的多个写请求进行合并包括：

将写请求队列中的写请求按照条带大小划分为多个块；

将每个块中的写请求按照调用时序合并成一个写请求。

根据本发明的一个实施例，响应于写请求队列上可合并的写请求对应的数据全部写入内存，将内存中的数据刷新到硬盘上包括：

将写入内存中的数据根据多副本和/或纠删算法刷新数据到多个OSD上；

将多个OSD上的数据刷新到对应的硬盘上。

根据本发明的一个实施例，处理设备包括OSD设备。

根据本发明的一个实施例，还包括：

响应于接收到读请求，将接受到的读请求放在读请求队列上；

响应于处理设备完成上一个读请求，根据预设条件将读请求队列上的所有读请求中的多个读请求进行合并；

根据合并后的读请求将对应的数据读取到内存中，将内存中的数据返回给客户端。

本发明的实施例的另一个方面，还提供了一种分布式文件系统提升性能的设备，设备包括：

请求模块，请求模块配置为响应于接收到写请求，将接受到的写请求放在写请求队列上；