[发明专利]一种并行文件系统资源管理方法、装置和系统

说明书

本发明实施例提供一种并行文件系统资源管理方法、装置和系统，其中方法包括：实时扫描存储在并行文件系统中的所有链接，若扫描的各链接相对应的文件中存在热文件，则将各链接相对应的文件中存在的热文件迁移至所述并行文件系统中进行存储；实时扫描存储在并行文件系统中的所有文件，若扫描的所有文件中存在冷文件，则将扫描的所有文件中存在的冷文件迁移至预设磁盘中，得到各所述冷文件在所述预设磁盘中的存储链接，将得到的各链路存储在所述并行文件系统中。有效避免了并行文件系统中文件堆积现象的发生，加快了并行文件系统的读写速度，从而减少了用户作业时间，将耗费较少的CPU等计算资源，也减少了集群的运行和维护成本。

技术领域

本发明涉及资源管理技术领域，特别是涉及一种并行文件系统资源管理方法、装置和系统。

背景技术

随着高性能技术的发展，并行文件系统作为高性能集群所有数据的存储部分。并行文件系统随着用户数量的增加和运行时间的增长，文件堆积的现象越来越严重，通常情况，并行文件系统中用户的常用文件占所以文件的比例不超过30％，长期堆积并行文件会造成并行文件系统的读写速度下降，致使并行文件系统的读写性能越来越低，增长了用户作业时间，耗费了更多的CPU等计算资源，也增加了集群的运行和维护成本。因此保持并行文件系统良好的运行状态的一项重要任务。

发明内容

有鉴于此，本发明实施例提供一种并行文件系统资源管理方法、装置和系统，以解决现有技术中并行文件系统随着用户数量的增加和运行时间的增长，文件堆积的现象越来越严重，长期堆积并行文件造成并行文件系统的读写速度下降，致使并行文件系统的读写性能越来越低，增长了用户作业时间，耗费了更多的CPU等计算资源，也增加了集群的运行和维护成本的问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种并行文件系统资源管理方法，包括：

实时扫描存储在并行文件系统中的所有链接，判断扫描的各链接相对应的文件中是否存在热文件，若存在，则将各链接相对应的文件中存在的热文件迁移至所述并行文件系统中进行存储；

实时扫描存储在并行文件系统中的所有文件，判断扫描的所有文件中是否存在冷文件，若存在，则将扫描的所有文件中存在的冷文件迁移至预设磁盘中，得到各所述冷文件在所述预设磁盘中的存储链接，将得到的各链路存储在所述并行文件系统中。

其中，所述将扫描的所有文件中存在的冷文件迁移至预设磁盘中包括：

将扫描的所有文件中存在的冷文件复制到预设磁盘中，得到复制文件；

通过md5sum得到所述冷文件的md5码和所述复制文件的md5码；

判断所述冷文件的md5码和所述复制文件的md5码是否相同，若相同，则在预设时间后将扫描的所有文件中存在的冷文件删除。

其中，所述判断扫描的各链接相对应的文件中是否存在热文件包括：获取当前扫描链接，确定所述当前扫描连接相对应的文件；判断所述当前扫描链接相对应的文件是否为热文件；若为，则判定扫描的各链接相对应的文件中存在热文件，若不为，则获取下一扫描链接，直至存储在所述并行文件系统中的所有链接均扫描完成；

所述判断扫描的所有文件中是否存在冷文件包括：获取当前扫描文件，判断所述当前扫描文件是否为冷文件；若为，则判定扫描的所有文件中存在冷文件，若不为，则获取下一扫描文件，直至存储在所述并行文件系统中的所有文件均扫描完成。

其中，通过所述当前扫描链接相对应的文件的文件类型、创建时间、上次访问时间、上次修改时间和/或还原时间来判断所述当前扫描链接相对应的文件是否为热文件；

通过所述当前扫描文件的文件类型、创建时间、上次访问时间、上次修改时间和/或还原时间来判断所述当前扫描文件是否为冷文件。