[发明专利]集群文件系统、数据处理方法、计算机设备及存储介质

说明书

本公开提供了一种集群文件系统、数据处理方法、计算机设备及存储介质，其中，集群文件系统包括：对象存储服务器、多个对象存储设备、以及多个第一虚拟块设备；其中，对象存储服务器与多个对象存储设备连接；每个对象存储设备连接至少一个第一虚拟块设备；对象存储服务器，用于接收客户端发送的第一输入输出IO指令，并基于第一IO指令，通过对象存储设备访问第一虚拟块设备；第一虚拟块设备中存储有目标数据；其中，目标数据在第一虚拟块设备中存储为至少三个数据副本。

技术领域

本公开涉及计算机存储技术领域，具体而言，涉及一种集群文件系统、数据处理方法、计算机设备及存储介质。

背景技术

集群文件系统是指运行在多台计算机之上，之间通过某种方式相互通信将集群内所有存储空间资源整合、虚拟化并对外提供文件访问服务的文件系统。

数据的可靠性是衡量一个集群文件系统稳定性的重要指标；作为集群文件系统一种，Lustre为了防止数据丢失，通常采用动态文件系统(Zettabyte File System，ZFS)和硬件冗余的方式来保证数据可靠性。其中，ZFS是一种内核文件系统，将多块磁盘组成一个软磁盘阵列(Redundant Arrays of Independent Disks，RAID)为Lustre集群提供数据存储盘。

这种数据存储方式存在可扩展性差的问题。

发明内容

本公开实施例至少提供一种集群文件系统、数据处理方法、计算机设备及存储介质。

第一方面，本公开实施例提供了一种集群文件系统，包括：对象存储服务器、多个对象存储设备、以及多个第一虚拟块设备；其中，所述对象存储服务器与多个所述对象存储设备连接；每个所述对象存储设备连接至少一个所述第一虚拟块设备；所述对象存储服务器，用于接收客户端发送的第一输入输出IO指令，并基于所述第一IO指令，通过所述对象存储设备访问所述第一虚拟块设备；所述第一虚拟块设备中存储有目标数据；其中，所述目标数据在所述第一虚拟块设备中存储为至少三个数据副本。

这样，第一虚拟块设备能够将多个物理磁盘Disk聚合到一起，形成一个大容量的虚拟设备，因而具有更强的可扩展性。同时，目标数据在第一虚拟块设备中能够被存储为至少三个副本，可以大大提高数据的可靠性。

一种可能的实施方式中，还包括：元数据服务器、多个元数据存储设备、以及多个第二虚拟块设备；其中，所述元数据服务器与多个所述元数据存储设备连接；每个所述元数据存储设备连接至少一个所述第二虚拟块设备；所述元数据服务器，用于接收所述客户端发送的第二IO指令，并基于所述第二IO指令，通过所述元数据存储设备访问所述第二虚拟块设备；所述第二虚拟块设备中存储有与所述目标数据对应的元数据；其中，所述元数据在所述第二虚拟块设备中存储为至少三个元数据副本。

这样，这样，由于第二虚拟块设备能够将多个物理磁盘Disk聚合到一起，形成一个大容量的虚拟设备，而第二虚拟块设备中所包含的Disk数量则较大，因而具有更强的可扩展性。

同时，第二虚拟块设备的存储容量更大，因为元数据在第一虚拟块设备中能够被存储为至少三个副本，可以大大提高数据的可靠性。

一种可能的实施方式中，所述目标数据包括：由多个文件聚合成的数据块；与所述数据块对应的元数据包括各个所述文件在所述数据块中的位置信息。

这样，由于目标数据包括了有多个文件聚合成的数据块；对于元数据服务器而言，其需要维护的文件目录规模会显著下降，进而本公开实施例提供的集群文件系统能够适用于海量小文件应用。

一种可能的实施方式中，所述第一虚拟块设备，还用于按照预设的第一读取顺序，从与所述第一IO指令对应的至少三个数据副本中确定并向所述对象存储设备返回目标数据副本。

这样，保证了目标数据的顺利读取。