[发明专利]分布式文件系统的数据管理方法和装置

说明书

本发明提出了一种分布式文件系统的数据管理方法，该方法包括：接收文件创建请求，获取请求创建的文件信息；根据文件信息确定文件的大小类别；若文件为小文件，则在本地文件系统中为小文件分配空间；若文件为大文件，则将大文件进行拆分，并为拆分后的子文件创建逻辑卷以存储子文件，记录子文件对应的逻辑卷信息，将记录的逻辑卷信息存储到本地文件系统。通过只将小文件数据和大文件的元数据信息存储在本地文件系统，其他文件数据存储在逻辑卷中，这样不仅避免了单个文件突破单个本地文件系统的问题，当需要重启时，由于本地文件系统自检的数据量较小，缩短了校验的时间。

技术领域

本发明涉及计算机存储技术领域，特别是涉及一种分布式文件系统的数据管理方法和装置。

背景技术

分布式文件系统(Distributed File System)是指文件系统管理的物理资源不一定直接连接到本地节点上，而是散布在不同的服务器上，通过计算机网络使各服务器互联，共同管理物理资源提供存储服务。分布式文件系统对外提供的是文件系统挂载服务，用户挂载分布式文件系统后，即可访问文件系统中全局的文件，效果等同于访问本地文件系统。

分布式文件系统底层采用本地文件系统存放数据文件，如果单个文件太大，将无法存放在某一个磁盘上，即文件大小将受限于本地文件系统的大小。传统的解决方式有两种：1)在客户端对大文件分成固定大小的小文件，然后存放到不同的服务器上；2)在服务端将文件分成固定大小的小文件，存放在本地服务器上的各个本地文件系统中。方式1)由于将大文件分成小文件存放到不同的服务器上，如某一服务器出现故障，则该文件对应的某一区段将无法访问；方式2)由于直接在服务器端内部进行切块，切分的分块存放在本服务器上，文件分布的范围不会扩大，实现简单，但在读写并发上较弱。但是不管采用方式1)还是方式2)，当集群大文件较多，容量使用较满时，本地文件系统相应也较满，如发生掉电重启，本地文件系统进行文件系统校验时间长。

发明内容

基于此，有必要针对上述单个文件太大不能存放在某一个磁盘上且重启时进行文件系统校验时间长的问题，提供一种分布式文件系统的数据管理方法和装置。

一种分布式文件系统的数据管理方法，该方法包括：接收文件创建请求，获取请求创建的文件信息；根据文件信息确定文件的大小类别；若文件为小文件，则在本地文件系统中为小文件分配空间；若文件为大文件，则将大文件进行拆分，并为拆分后的子文件创建逻辑卷以存储子文件，记录子文件对应的逻辑卷信息，将记录的逻辑卷信息存储到本地文件系统。

在其中一个实施例中，根据文件信息确定文件的大小类别的步骤包括：根据文件信息识别文件的格式类型；根据预先建立的格式类型与大小类别之间的对应关系，确定文件的大小类别。

在其中一个实施例中，若文件为大文件，则将大文件进行拆分，为拆分后的子文件创建逻辑卷以存储子文件，并记录逻辑卷信息的步骤包括：若文件为大文件，则将大文件按预设的规则进行拆分；为拆分后的子文件分配卷组，并在卷组上为子文件创建逻辑卷以存储子文件，以及记录子文件对应的逻辑卷信息。

在其中一个实施例中，为拆分后的子文件分配卷组，并在卷组上为子文件创建逻辑卷以存储子文件，以及记录子文件对应的逻辑卷信息的步骤包括：在本地空间为拆分后的子文件分配卷组，并在卷组上为子文件创建逻辑卷，当本地空间不足时，则通过网络间的进程为子文件进行远程空间的申请，在远程空间分配的卷组上为所述子文件创建逻辑卷，并记录子文件对应的逻辑卷信息。

在其中一个实施例中，上述分布式文件系统的数据管理方法包括：接收删除文件的请求；若请求删除的文件为小文件，则直接在本地文件系统中删除对应的文件；若请求删除的文件为大文件，则查询大文件包含的子文件对应的逻辑卷信息，解析逻辑卷信息，根据解析后的逻辑卷信息删除对应的逻辑卷。