[发明专利]一种分布式文件系统优化的方法和设备

说明书

本发明提供了一种分布式文件系统优化的方法和设备，该方法包括以下步骤：在系统中创建配置文件，并将配置文件以特定的存储方式进行存储；响应于业务流Job提交，判断业务流Job相应的配置文件中的检测参数并分析业务流Job的业务特征；响应于检测参数为真，检测业务流Job所需磁盘Block单元；根据业务流Job的业务特征和磁盘Block单元的检测结果采用HDFS异构存储技术对业务流Job进行差异化存储。通过使用本发明的方案，能够使磁盘的利用最大化，保证集群数据的安全，同时降低部分磁盘维护成本，还能够避免数据分配不均衡导致的倾斜问题。

技术领域

本领域涉及计算机领域，并且更具体地涉及一种分布式文件系统优化的方法和设备。

背景技术

随着大数据集群规模的扩大，集群磁盘的健康监测也变得复杂。传统的分布式文件系统坏盘检测的方法为：周期性检测集群磁盘的IO速率，将磁盘当前IO(输入输出)速率与常规IO速率作比较，以判定磁盘是否为坏盘。该方法存在三个弊端，一是检测周期难以估量，周期长则耗费集群资源，周期短则无法及时更新坏盘；二是若磁盘存在坏Block(块)，则其IO速率必然较差，若仅以读写速率较差作为标准判定坏盘，会造成磁盘的浪费；三是业务流Job与磁盘检测Job是分离的，无法及时将检测信息运用到业务流Job执行中。

发明内容

有鉴于此，本发明实施例的目的在于提出一种分布式文件系统优化的方法和设备，通过使用本发明的方法，能够使磁盘的利用最大化，保证集群数据的安全，同时降低部分磁盘维护成本，还能够避免数据分配不均衡导致的倾斜问题。

基于上述目的，本发明的实施例的一个方面提供了一种分布式文件系统优化的方法，包括以下步骤：

在系统中创建配置文件，并将配置文件以特定的存储方式进行存储；

响应于业务流Job提交，判断业务流Job相应的配置文件中的检测参数并分析业务流Job的业务特征；

响应于检测参数为真，检测业务流Job所需磁盘Block单元；

根据业务流Job的业务特征和磁盘Block单元的检测结果采用HDFS异构存储技术对业务流Job进行差异化存储。

根据本发明的一个实施例，根据业务流Job的业务特征和磁盘Block单元的检测结果采用HDFS异构存储技术对业务流Job进行差异化存储包括：

响应于检测到磁盘Block单元损坏，将损坏的磁盘Block单元在系统中删除。

根据本发明的一个实施例，检测业务流Job所需磁盘Block单元包括：

使用fsck工具获取磁盘Block的信息和位置信息；

将磁盘Block的IO速率与配置文件中最小速率进行比较；

响应于IO速率不小于正常磁盘IO速率，判断磁盘Block为正常；

响应于IO速率小于正常磁盘IO速率，且大于最小速率，判断磁盘Block存在损坏；

响应于IO速率小于最小速率，判定磁盘为坏盘。

根据本发明的一个实施例，配置文件可以定义的项目包括集群可允许的磁盘最低读写特性、允许的最小Block数、是否开启Block健康检测、备用磁盘信息。

根据本发明的一个实施例，还包括：

获取当前集群的Block数，与配置文件中允许的最小Block数进行比较；

响应于当前集群的Block数小于允许的最小Block数，启动备份磁盘空间单元，对配置文件中的备用磁盘进行初始化和挂载操作。

本发明的实施例的另一个方面，还提供了一种分布式文件系统优化的设备，设备包括：