[发明专利]一种用于IDFS的文件均衡方法

说明书

本发明公开了一种用于IDFS的文件均衡方法，该方法通过文件索引归类模块，文件转移模块，文件索引查找模块，文件性能监控及任务下发模块，HLS直播点播视频优化的配置列表实现；所述的文件索引归类模块用于对存储的内容归类整理；所述的文件转移模块实现不停止服务的情况下实现文件的均衡转移；所述的文件索引查找模块实现在可缓存的前提下实现文件索引的更新，同时不会造成文件无法找到引发的故障；所述的文件性能监控及任务下发模块实现在尽可能少的减少对现有网络系统的性能的影响下进行存储均衡；所述的HLS直播点播视频优化的配置列表实现对均衡频率及均衡速度进行精确控制。本发明的方法能最大限度的实现各存储容量的均衡，实现文件的均衡转移。

技术领域

本发明涉及文件索引、文件同步、存储容量均衡领域，具体地说是一种用于IDFS的文件均衡方法。

背景技术

IDFS是一套针对HLS及海报等大量小文件的分布式存储系统，采用MongoDB存储索引数据。对于一部视频，可以将其均匀的分布存储于所有可用服务器的所有可用磁盘内，使得上传下载任意一部影片都可以利用到所有服务器的所有磁盘性能。同时IDFS支持动态扩容，可以十分方便的增加服务器数量或磁盘数量以增加存储总容量。

但动态扩容的过程中，新增服务器的可用容量大于原服务器，在注入新文件时，由于均匀存储的策略，新老服务器容量增长的速度是相同的。这最终会导致新服务器还有大量剩余空间时，老服务器已经没有可用存储。

发明内容

本发明的技术任务是提供一种用于IDFS的文件均衡方法。

本发明的技术任务是按以下方式实现的：

一种用于IDFS的文件均衡方法，该方法通过文件索引归类模块，文件转移模块，文件索引查找模块，文件性能监控及任务下发模块，HLS直播点播视频优化的配置列表实现；

所述的文件索引归类模块用于对存储的内容归类整理；

所述的文件转移模块实现不停止服务的情况下实现文件的均衡转移；

所述的文件索引查找模块实现在可缓存的前提下实现文件索引的更新，同时不会造成文件无法找到引发的故障；

所述的文件性能监控及任务下发模块实现在尽可能少的减少对现有网络系统的性能的影响下进行存储均衡；

所述的HLS直播点播视频优化的配置列表实现对均衡频率及均衡速度进行精确控制。

所述的文件索引归类模块针对点播、直播、普通文件三种不同文件进行分类。

所述的点播是一次写入几乎永久保存且占用存储容量比例较高的文件；所述的直播是一直有大量文件写入同时文件保存时间有限且占用比例最高的文件；所述的普通文件是保存时间介于点播和直播两者之间且占用比例最少的文件。

所述的点播文件由老服务器均衡到所有服务器中，同时按照新老顺序将相对较新的文件首先处理。

所述的文件转移模块在不同存储服务器间采用最小的代价将文件剪切到新存储位置，同时将新文件索引存储到mongo，但不会立刻删除原始文件及索引；所述的文件转移模块是基于小文件进行的，可以随时停止转移并保留已处理内容。

所述的文件索引查找模块的索引存储于MongoDB，包含文件ID以及文件实际存储路径；同时在文件实际存储位置发生变更时，会将此文件标记到变更文件列表内，下载端收到文件变更请求后会更新缓存并采用移动后的文件位置。

所述的文件性能监控及任务下发模块实时监控各存储服务器内各磁盘的当前读写流量、可用容量，并根据新老磁盘进行加权计算，最终选择性能空闲度满足要求的N块磁盘发起转移。