[发明专利]一种分布式文件系统优化的方法和设备

权利要求书

1.一种分布式文件系统优化的方法，其特征在于，包括以下步骤：

在所述系统中创建配置文件，并将所述配置文件以特定的存储方式进行存储；

响应于业务流Job提交，判断所述业务流Job相应的所述配置文件中的检测参数并分析所述业务流Job的业务特征，分析所述业务流Job对磁盘IO速率的要求，将业务流Job及业务流Job特征纳入业务流特征库，将业务流Job以读数据和写数据为界进行分流处理；

响应于所述检测参数为真，检测所述业务流Job所需磁盘Block单元；

根据所述业务流Job的业务特征和所述磁盘Block单元的检测结果采用HDFS异构存储技术对所述业务流Job进行差异化存储。

2.根据权利要求1所述的方法，其特征在于，根据所述业务流Job的业务特征和所述磁盘Block单元的检测结果采用HDFS异构存储技术对所述业务流Job进行差异化存储包括：

响应于检测到磁盘Block单元损坏，将损坏的磁盘Block单元在所述系统中删除。

3.根据权利要求1所述的方法，其特征在于，检测所述业务流Job所需磁盘Block单元包括：

使用fsck工具获取磁盘Block的信息和位置信息；

将所述磁盘Block的IO速率与所述配置文件中最小速率进行比较；

响应于所述IO速率不小于正常磁盘IO速率，判断所述磁盘Block为正常；

响应于所述IO速率小于所述正常磁盘IO速率，且大于所述最小速率，判断所述磁盘Block存在损坏；

响应于所述IO速率小于所述最小速率，判定磁盘为坏盘。

4.根据权利要求1所述的方法，其特征在于，所述配置文件定义的项目包括集群可允许的磁盘最低读写特性、允许的最小Block数、是否开启Block健康检测、备用磁盘信息。

5.根据权利要求1所述的方法，其特征在于，还包括：

获取当前集群的Block数，与所述配置文件中允许的最小Block数进行比较；

响应于所述当前集群的Block数小于所述允许的最小Block数，启动备份磁盘空间单元，对所述配置文件中的备用磁盘进行初始化和挂载操作。

6.一种分布式文件系统优化的设备，其特征在于，所述设备包括：

创建模块，所述创建模块配置为在所述系统中创建配置文件，并将所述配置文件以特定的存储方式进行存储；

判断模块，所述判断模块配置为响应于业务流Job提交，判断所述业务流Job相应的所述配置文件中的检测参数并分析所述业务流Job的业务特征，分析所述业务流Job对磁盘IO速率的要求，将业务流Job及业务流Job特征纳入业务流特征库，将业务流Job以读数据和写数据为界进行分流处理；

检测模块，所述检测模块配置为响应于所述检测参数为真，检测所述业务流Job所需磁盘Block单元；

存储模块，所述存储模块配置为根据所述业务流Job的业务特征和所述磁盘Block单元的检测结果采用HDFS异构存储技术对所述业务流Job进行差异化存储。

7.根据权利要求6所述的设备，其特征在于，还包括删除模块，所述删除模块配置为响应于检测到磁盘Block单元损坏，将损坏的磁盘Block单元在所述系统中删除。

8.根据权利要求6所述的设备，其特征在于，所述检测模块还配置为：

使用fsck工具获取磁盘Block的信息和位置信息；

将所述磁盘Block的IO速率与所述配置文件中最小速率进行比较；

响应于所述IO速率不小于正常磁盘IO速率，判断所述磁盘Block为正常；

响应于所述IO速率小于所述正常磁盘IO速率，且大于所述最小速率，判断所述磁盘Block存在损坏；

响应于所述IO速率小于所述最小速率，判定磁盘为坏盘。