[发明专利]一种针对Hadoop分布式文件系统的存储优化方法

权利要求书

1.一种针对Hadoop分布式文件系统的存储优化方法，其特征在于，具体按照以下步骤实施：

步骤1，提取文件操作记录，具体为：

步骤1.1：选取INFO级别日志文件，所选取的日志文件包含具体执行时间戳和文件名信息；

步骤1.2：获取INFO级别日志文件的访问记录；

对于日志文件访问记录的获取，使用filter操作结合lambda表达式，从日志文件中找出所有包含completeFile关键字，由NameNode节点产生的信息，并提取出其中包含的时间戳关键字以及文件名关键字作为文件访问记录加以保存，存放到HDFS中；

步骤1.3：获取INFO级别日志文件的删除记录；

首先使用filter函数结合lambda表达式，从日志文件中找出所有包含addToInvalidates关键字，由NameNode节点产生的信息；然后提取出其中包含的时间戳关键字以及块名关键字；再利用相同的filter函数与lambda表达式，从日志文件中找出和addToInvalidates信息中所包含的块名关键字相同的，包含关键字allocateBlock的信息，并提取出其中包含的文件名关键字和时间戳关键字；最后，将上述allocateBlock信息中包含的文件名关键字和对应addToInvalidates信息中的时间戳关键字作为文件删除记录加以保存，存放到HDFS中；

步骤1.4：将IFNO级别日志中所有包含关键词的信息提取并整理，再按照时间戳进行排序并编号；选择type表示操作类型，1代表删除操作，0代表访问操作，F表示文件名称，d表示发生操作的时间；

步骤2：确定特征标签label，选取特征，构建特征向量，形成训练文件淘汰模型的样本集；具体为：

步骤2.1：定义样本集的label为“是否可以删除”；“yes”为正标签，表示文件复用可能性很低，可以删除，标定为“yes”的元组属于正样本；“no”为负标签，表示文件可能复用，不可删除，标定为“no”的元组属于负样本；

将每条文件访问、删除记录转为一条含特征标签的特征向量元组；对于元组特征，将type作为label信息；所述特征标签的主要对应规则如下：

对每一条文件操作记录r0：

a)若type＝0，该记录被记为访问记录；表明在该文件操作发生的时间d时，对应文件F被复用；文件在d时具有复用可能性，不可删除；元组标定为“no”，为负样本；

b)若type＝1，该记录被记为删除记录；表明在该文件操作发生的时间d时及以后，对应文件f不再具有复用可能性，可以删除；元组标定为“yes”，为正样本；

步骤2.2：选取特征；

将HDFS中的文件访问记录和文件删除记录全部取出，对于文件名相同的记录，计算创建时间长度d_c，单位：天；未访问时长d_a，单位：天；创建至今平均每天访问频次f_rq；分别如式(1)、式(2)及式(3)所示，形成样本集的特征，由所述标签和所述特征组成的每一条记录也叫特征向量；

d_c＝d₀-d_c0 (1)；

d_a＝d₀-d_a0 (2)；

式中，d_c0为文件创建日期；d₀为文件时间戳；d_a0为文件最后一次访问日期；n₀为至d₀时刻对文件的访问次数；

步骤3：选择所述特征向量的三个特征d_c、d_a、f_rq依次作为决策树的三个分类节点，采用ID3算法建立决策树，并由决策树构建文件淘汰模型；以MLlib为工具，调用MLlib的编程接口，以样本集作为输入，训练文件淘汰模型，待训练结束后，将其以json格式保存回HDFS上，供以后淘汰文件使用；

步骤4：使用建立的文件淘汰模型，预测文件可复用性。

2.根据权利要求1所述的一种针对Hadoop分布式文件系统的存储优化方法，其特征在于，所述步骤4中，具体为：首先要从HDFS上读入当前的文件列表，然后用已训练完毕的文件淘汰模型预测其可否删除；对每个文件，通过文件名从日志中提取所有该文件的操作记录，通过计算该文件在d时刻的label,d_c,d_a,f_rq，得到一条特征向量，进入训练好的决策树预测，返回标签“可以删除yes”或“建议保留no”。