[发明专利]一种针对Hadoop分布式文件系统的存储优化方法

说明书

本发明公开了一种针对Hadoop分布式文件系统的存储优化方法，具体为：首先，选取INFO级别日志文件，所选取的日志文件包含具体执行时间戳和文件名信息，获取INFO级别日志文件的访问记录和删除记录；将IFNO级别日志中所有包含关键词的信息提取并整理，再按照时间戳进行排序并编号；之后确定特征标签，选取特征，构建特征向量，形成训练文件淘汰模型的样本集；选择特征向量的三个特征值依次作为决策树的三个分类节点，采用ID3算法建立决策树，并由决策树构建文件淘汰模型；最后，使用建立的文件淘汰模型，预测文件可复用性。本发明的方法，优化分布式文件系统的存储效率，减小数据存储规模，提HDFS的存储效率。

技术领域

本发明属于数据存储技术领域，具体涉及一种针对Hadoop分布式文件系统的存储优化方法。

背景技术

随着大数据计算引擎(例如Apache Hadoop以及Apache Spark)的应用愈发广泛，不断地有大量新数据需要被存储在Hadoop分布式文件系统HDFS中，对HDFS的存储造成了很大压力。传统的方法通过增加硬件投入，持续扩大HDFS的容量，从而存储海量增长的数据，但这样做成本偏高，而且大部分在HDFS中存储的数据利用价值低，被使用或被其他设备访问的概率低，浪费了大量硬件资源和软件成本。

在云计算时代，针对大规模分布式文件系统的存储优化问题正得到越来越广泛的关注。例如Kirsten等人从访问率均衡与数据价值的角度，针对广义的分布式文件系统提出了负载均衡的方法。Shruthi等提出了一种存储空间聚类算法，通过定义数据相似与关联度定义节点之间的“距离”，将数据放在合适的节点上，可以减少访问时间与工作时的节点访问次数。此类方法虽然可以在一定程度上优化分布式文件系统，提高存储空间的率用率，但需要对HDFS的底层架构和核心分配规则进行更改，因此实现难度较高，且可移植性差。在国内，付印金等人提出了基于重复数据删除的虚拟桌面优化技术，伍秋平等人提出了一种面向云存储数据容错的ARC缓存淘汰机制。此类方法使用纠删码容错，只在缓存中使用传统的副本冗余容错，亦取得了较好的效果，显著减小了分布式文件系统的存储空间。但这类方法主要针对文件系统中的重复数据进行淘汰和删除，然而在真正的分布式文件系统中，重复数据占比并不大，占存储数据比例大的是大量仅使用过一次或数次的低价值数据，而上述方法对于分布式存储系统，特别是HDFS中大量重复利用率低的数据无法做到有效甄别和删除。

发明内容

本发明的目的在于提供一种针对Hadoop分布式文件系统的存储优化方法，优化分布式文件系统的存储效率，减小数据存储规模，提HDFS的存储效率。

本发明所采用的技术方案是，一种针对Hadoop分布式文件系统的存储优化方法，具体按照以下步骤实施：

步骤1，提取文件操作记录，具体为：

步骤1.1：选取INFO级别日志文件，所选取的日志文件包含具体执行时间戳和文件名信息；

步骤1.2：获取INFO级别日志文件的访问记录；

步骤1.3：获取INFO级别日志文件的删除记录；

步骤1.4：将IFNO级别日志中所有包含关键词的信息提取并整理，再按照时间戳进行排序并编号；选择type表示操作类型，1代表删除操作，0代表访问操作，F表示文件名称，d表示发生操作的时间；

步骤2：确定特征标签label，选取特征，构建特征向量，形成训练文件淘汰模型的样本集；

步骤3：选择特征向量的三个特征值依次作为决策树的三个分类节点，采用ID3算法建立决策树，并由决策树构建文件淘汰模型；以MLlib为工具，调用MLlib的编程接口，以样本集作为输入，训练文件淘汰模型，待训练结束后，将其以json格式保存回HDFS上，供以后淘汰文件使用；

步骤4：使用建立的文件淘汰模型，预测文件可复用性。

本发明的特点还在于，