[发明专利]一种硬件转码加速设备的分布式调度装置及其使用方法有效
申请号: | 202110522209.4 | 申请日: | 2021-05-13 |
公开(公告)号: | CN113347430B | 公开(公告)日: | 2023-01-24 |
发明(设计)人: | 马龙飞;罗鑫;刘鹏博;郭志全 | 申请(专利权)人: | 北京睿芯高通量科技有限公司 |
主分类号: | H04N19/40 | 分类号: | H04N19/40;H04L67/10;H04L67/1001;G06F9/50;G06F9/48 |
代理公司: | 北京科龙寰宇知识产权代理有限责任公司 11139 | 代理人: | 孙皓晨 |
地址: | 102600 北京市大兴区北京经济技*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 硬件 加速 设备 分布式 调度 装置 及其 使用方法 | ||
1.一种硬件转码加速设备的分布式调度装置的使用方法,其特征在于,所述装置是一种转码分布式集群,其包括分布式调度模块和至少两个转码服务器节点,其中:
所述分布式调度模块,用于实现接收转码任务,均衡分配给每个转码服务器节点,其包括celery分布式异步任务框架以及rabbitmq消息中间件;
任一转码服务器节点,用于高效并行地接收所述分布式调度模块下达的所述转码任务并执行转码操作,其包括一物理服务器和至少2张转码加速卡;
所述装置的使用方法包括转码服务器节点的注册和注销、转码服务器列表状态的实时维护及转码任务的接收和分发,其中:
所述转码服务器节点的注册和注销包括:
当转码分布式集群中新增一转码服务器的节点时,向分布式调度模块进行注册,同时告知增加的转码服务器节点的转码最大处理能力;
当任一转码服务器节点要退出分布式转码集群时,向分布式调度模块发出注销指令,分布式调度模块根据注销指令将对应转码服务器节点的信息清除;
所述转码服务器列表状态的实时维护包括:
当转码分布式集群中出现任一转码服务器节点与分布式调度模块之间的心跳检测超时的状态时,则分布式调度模块认定对应转码服务器节点已经断开,并自动清理对应转码服务器节点的相关信息;
分布式调度模块实时更新每一转码服务器的最大并发能力状态信息,动态的升高或降低每一转码服务器的转码能力;
所述转码任务的接收和分发包括:
针对每一个转码任务设置普通优先级和高级优先级选项,所述高级优先级选项优先获得转码资源,根据转码服务器的最大并发能力状态信息,匹配并发能力级别高的所述转码服务器,执行所述转码任务,具体执行过程包括:
步骤2-2:分布式调度模块接收转码任务;
步骤2-3:判断转码任务是否为高优先级任务,如果是则转到步骤2-4,否则转到步骤2-8;步骤2-4:判断当前转码集群是否满负荷运载,若当前转码集群满负荷运行,则通过调度模块寻找当前执行进度最快的转码任务,并找到该转码任务所在的转码服务器节点并进入步骤2-6;否则进入步骤2-7;
步骤2-6:当对应转码服务器节点的转码任务执行结束后,将高优先级转码任务分配到该转码服务器节点,由此转码服务器执行转码任务;
步骤2-7:由于判断当前转码集群非满负荷运行,则选择空闲度最高的转码服务器,将该转码任务分配到空闲度最高的转码服务器,由此转码服务器执行转码任务;
步骤2-8:分布式调度模块判断集群中是否有空闲节点,若没有空闲可用节点,则将该任务暂时存放消息队列,挂起等待并开启定时检测是否有空闲转码服务器;否则进入步骤2-11;
步骤2-11:选择集群中空闲程度最高的转码服务器执行转码任务。
2.如权利要求1所述的一种硬件转码加速设备的分布式调度装置的使用方法,其特征在于,所述实时更新每一转码服务器的最大并发能力状态信息,动态的升高或降低每一转码服务器的转码能力,是通过加减服务器节点的并发能力任务数来实现,具体为:
对所述服务器节点分配转码任务后,将所述服务器节点的所述并发能力任务数减1;
当所述服务器节点完成一个转码任务后,所述并发能力任务数加1;
分布式调度模块按照所述并发能力任务数的数值从大到小顺序分配转码任务。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京睿芯高通量科技有限公司,未经北京睿芯高通量科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110522209.4/1.html,转载请声明来源钻瓜专利网。