[发明专利]一种面向海量小文件的用户热点数据访问预测方法

摘要

本发明公开了一种面向海量小文件的用户热点数据访问预测方法，从用户访问数据的特点入手，根据文件访问的关联性特点，使用用户相关的分布式海量小文件存储系统文件访问日志，训练Skip‑Gram模型，对文件的上下文访问特征进行提取，使用K‑means算法对文件特征聚类，对访问相似度高的文件进行集中分析，训练GRU模型，对文件间的关联性进行分析，并根据用户当前访问文件所属类别序列进行预测，将用户未来可能访问文件类别中的全部文件预取至缓存，减少了系统的I/O次数，整体上提升了分布式海量小文件存储系统读取效率。

主权项

1.一种面向海量小文件的用户热点数据访问预测方法，其特征在于，所述方法包括如下步骤：(1)读取分布式海量小文件存储系统产生的文件访问日志，得到文件访问历史序列；(2)将所述文件访问历史序列进行预处理，得到用户相关的文件访问日志，构造训练样本数据和测试样本数据；(3)使用所述训练样本数据对Skip‑Gram模型进行训练，将训练完成后的Skip‑Gram模型使用所述测试样本数据进行测试，根据测试结果，对所述Skip‑Gram模型参数进行调优，并将调优后的Skip‑Gram模型作为文件特征提取模型；(4)使用所述文件特征提取模型对所述训练样本数据和所述测试样本数据进行特征提取，得到文件特征向量；使用K‑means算法对所述文件特征向量进行聚类，通过修改所述K‑means算法的参数实现聚类方法调优，确定文件与类别关系映射；(5)根据所述文件与类别关系映射，将所述训练样本数据的文件访问数据转化为和文件类别访问训练数据，所述测试样本数据的文件访问数据转化为文件类别访问测试数据，其转化方法包括：预先将所述文件与类别关系映射读取至内存中，读取所述训练样本数据的每一个文件名元素，在所述文件与类别关系映射中查找文件名对应的分类，将对应的文件分类序列输出到所述文件类别访问训练数据；读取所述测试样本数据的每一个文件名元素，在所述文件与类别关系映射中查找文件名对应的分类，将对应的文件分类序列输出到所述文件类别访问测试数据；(6)使用所述文件类别访问训练数据对GRU模型进行训练，将训练完成后的GRU模型使用所述文件类别访问测试数据进行测试，并根据测试结果，对所述GRU模型参数进行调优，并将调优后的GRU模型、调优后的Skip‑Gram模型和调优后的K‑means算法进行组合，作为面向海量小文件的用户热点数据访问预测模型；(7)将所述面向海量小文件的用户热点数据访问预测模型部署至代理节点；输入新的用户文件访问请求，所述面向海量小文件的用户热点数据访问预测模型输出下一时刻用户待访问的文件类别；代理节点 根据所述文件与类别关系映射，将用户待访问的文件从底层存储设备缓存至代理节点进行缓存。