[发明专利]一种硬件转码加速设备的分布式调度装置及其使用方法

说明书

本发明公开一种硬件转码加速设备的分布式调度的装置和该装置的使用方法,涉及分布式转码的技术领域。所述的装置是由分布式调度模块和两个或两个以上转码服务器节点构建的转码分布式集群组成，分布式调度模块使用celery分布式异步任务框架以及rabbitmq消息中间件实现，接收转码任务后，动态均衡分配转码任务给转码服务器节点进行转码操作，所述装置的使用方法为通过动态的升高或降低转码服务器的转码能力，平衡转码服务器节点中每块转码加速卡的工作负荷，对转码服务器节点中的转码加速卡进行统一管理和调度，实现了负载均衡并大幅提高了系统级的高可用性和可伸缩性。

技术领域

本发明涉及分布式转码的技术领域，特别是涉及一种硬件转码加速设备的分布式调度装置及其使用方法。

背景技术

科学技术日新月异发展的今天，视频已经成为互联网视界中一种高效且不可或缺的传输信息的载体，随着技术的发展，视频清晰度不断的提高，视频编解码的运算量也越来越大，于是针对视频编码解码以及转码的专用芯片的转码加速卡应运而生。转码服务器为了提高视频转码性能，在服务器中插入转码加速卡，转码加速卡与服务器一般以PCIE或NVME的方式结合。上电之后，当有转码任务进行时，将转码任务指定使用转码加速卡进行，从而实现转码性能的提升。但是，大部分转码加速卡只能部署在单节点的服务器上。

已有技术的缺点在于：由于单台服务器中PCIE槽位有限，部分服务器对NVME支持并不友好，现有的单台服务器一般只能使用1-2张加速卡进行转码加速；当转码的业务量大幅增加时，由于单台服务器可以连接的加速卡的数量有限，转码性能无法有效的扩容和提升；若采用增加多台服务器来实现业务的扩容，则由于转码加速卡往往相对比较独立，在多个转码加速卡的分布式调度上存在一定的困难。

发明内容

为了解决上述问题，本发明提供了一种硬件转码加速设备的分布式调度装置及其使用方法，其考虑到单节点调用转码加速卡的性能瓶颈，及使用转码加速卡构建集群时的独立性，基于celery(分布式异步任务框架)构建了分布式调用转码加速卡的技术方案，通过动态的升高或降低转码服务器的转码能力，平衡转码服务器节点中每块转码加速卡的工作负荷，对转码服务器节点中的转码加速卡进行统一管理和调度，实现了负载均衡并大幅提高了系统级的高可用性和可伸缩性。

为了达到上述目的，本发明提供一种硬件转码加速设备的分布式调度装置,其中，所述装置是一种转码分布式集群，其包括分布式调度模块和至少两个转码服务器节点，其中：

所述分布式调度模块，用于实现接收转码任务，均衡分配给所述转码服务器节点，其包括celery分布式异步任务框架以及rabbitmq消息中间件；

任一转码服务器节点，用于高效并行地接收所述分布式调度模块下达的转码任务并执行转码操作，其包括一物理服务器和至少2张转码加速卡。

为了达到上述目的，本发明还提供一种硬件转码加速设备的分布式调度装置的使用方法，其包括转码服务器节点的注册和注销、转码服务器列表状态的实时维护及转码任务的接收和分发，其中：

所述转码服务器节点的注册和注销包括：

当转码分布式集群中新增一转码服务器的节点时，向分布式调度模块进行注册，同时告知增加的转码服务器节点的转码最大处理能力；

当任一转码服务器节点要退出分布式转码集群时，向分布式调度模块发出注销指令，分布式调度模块根据注销指令将对应转码服务器节点的信息清除；

所述转码服务器列表状态的实时维护包括：

当转码分布式集群中出现任一转码服务器节点与分布式调度模块之间的心跳检测超时的状态时，则分布式调度模块认定对应转码服务器节点已经断开，并自动清理对应转码服务器节点的相关信息；

所述分布式调度模块实时更新每一转码服务器的最大并发能力状态信息，动态的升高或降低每一转码服务器的转码能力；