[发明专利]一种用于IDFS的文件均衡方法在审

专利信息
申请号: 201810687142.8 申请日: 2018-06-28
公开(公告)号: CN108984659A 公开(公告)日: 2018-12-11
发明(设计)人: 刘凯;谢恩鹏 申请(专利权)人: 山东浪潮商用系统有限公司
主分类号: G06F17/30 分类号: G06F17/30
代理公司: 济南信达专利事务所有限公司 37100 代理人: 刘继枝
地址: 250100 山东省济南市*** 国省代码: 山东;37
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 均衡 文件索引 实现文件 查找模块 归类模块 模块实现 任务下发 视频优化 文件转移 性能监控 点播 存储 缓存 直播 存储容量 均衡频率 停止服务 网络系统 归类 配置 索引 更新
【权利要求书】:

1.一种用于IDFS的文件均衡方法,其特征在于,该方法通过文件索引归类模块,文件转移模块,文件索引查找模块,文件性能监控及任务下发模块,HLS直播点播视频优化的配置列表实现;

所述的文件索引归类模块用于对存储的内容归类整理;

所述的文件转移模块实现不停止服务的情况下实现文件的均衡转移;

所述的文件索引查找模块实现在可缓存的前提下实现文件索引的更新,同时不会造成文件无法找到引发的故障;

所述的文件性能监控及任务下发模块实现在尽可能少的减少对现有网络系统的性能的影响下进行存储均衡;

所述的HLS直播点播视频优化的配置列表实现对均衡频率及均衡速度进行精确控制。

2.根据权利要求1所述的方法,其特征在于,所述的文件索引归类模块针对点播、直播、普通文件三种不同文件进行分类。

3.根据权利要求2所述的方法,其特征在于,所述的点播是一次写入几乎永久保存且占用存储容量比例较高的文件;所述的直播是一直有大量文件写入同时文件保存时间有限且占用比例最高的文件;所述的普通文件是保存时间介于点播和直播两者之间且占用比例最少的文件。

4.根据权利要求3所述的方法,其特征在于,所述的点播文件由老服务器均衡到所有服务器中,同时按照新老顺序将相对较新的文件首先处理。

5.根据权利要求1所述的方法,其特征在于,所述的文件转移模块在不同存储服务器间采用最小的代价将文件剪切到新存储位置,同时将新文件索引存储到mongo,但不会立刻删除原始文件及索引;所述的文件转移模块是基于小文件进行的,可以随时停止转移并保留已处理内容。

6.根据权利要求1所述的方法,其特征在于,所述的文件索引查找模块的索引存储于MongoDB,包含文件ID以及文件实际存储路径;同时在文件实际存储位置发生变更时,会将此文件标记到变更文件列表内,下载端收到文件变更请求后会更新缓存并采用移动后的文件位置。

7.根据权利要求1所述的方法,其特征在于,所述的文件性能监控及任务下发模块实时监控各存储服务器内各磁盘的当前读写流量、可用容量,并根据新老磁盘进行加权计算,最终选择性能空闲度满足要求的N块磁盘发起转移。

8.根据权利要求7所述的方法,其特征在于,所述的发起转移后由于转移工作的进行会占用大量的流量且会改变各磁盘的可用容量,所述的文件性能监控及任务下发模块监控到磁盘当前状态达到阈值后会立即终止文件转移操作。

9.根据权利要求7所述的方法,其特征在于,所述的终止文件转移操作的同时,所述的文件性能监控及任务下发模块会监测变更文件列表情况,在所有下载端缓存都更新或超过缓存时间后发起删除原文件的操作,源文件及索引删除后,系统恢复到正常状态且存储容量会相对均衡。

10.根据权利要求1所述的方法,其特征在于,所述的HLS直播点播视频优化的配置列表针对HLS大量小文件的特点,根据点播及直播回看内容数量的比例、回看保留天数的长短,海报以及其他小文件的数量、新老服务器性能差异针对性的配置均衡的频率、同时进行的均衡数量、均衡终止的阈值的参数。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东浪潮商用系统有限公司,未经山东浪潮商用系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201810687142.8/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top