[发明专利]异构集群中视频任务并行化方法、装置及异构集群系统

说明书

本发明实施例提供了一种异构集群中视频任务并行化方法、装置及异构集群系统，所述方法应用于异构集群中的集群调度器，所述异构集群还包括多个节点，所述方法包括：获取任务缓存队列中每个视频任务的特征参数和每个节点的特征参数；将所述每个视频任务的特征参数和每个节点的特征参数输入预先训练的第一深度Q网络DQN，按照每个视频任务的等候时长的长短顺序，依次确定出所述每个视频任务对应的节点；针对每一视频任务，将该视频任务调度至该视频任务对应的节点，以使该节点对该视频任务包括的多个子任务进行并行化处理。本发明实施例可以提高异构集群在处理视频任务时的数据吞吐量，并减少视频任务的处理时间。

技术领域

本发明涉及视频分析技术领域，特别是涉及一种异构集群中视频任务并行化方法、装置及异构集群系统。

背景技术

近年来，对监控视频、航拍视频以及网络视频等大规模视频的分析需求在不断增加。传统的通用计算方式已经无法满足大规模视频分析任务对计算能力的需求。基于异构集群的视频分析技术结合了分布式技术，以及异构设备的高并行度和高计算效率的特点，是目前对大规模视频进行并行化分析的主流解决方案。通常，异构集群包括多个由CPU(CentralProcessing Unit，中央处理器)+GPU(Graphics Processing Unit，图形处理器)组合而成的异构计算设备。异构集群可以充分利用多个异构计算设备的计算特点，来对大规模视频进行并行化分析。

目前，基于异构集群的视频任务并行化方法通常为：利用异构集群的资源使用率、能量消耗等信息作为调度的依据，将视频任务调度到异构集群的各个节点(即各个异构计算设备)上。

然而现有方法在调度视频任务时，仅仅考虑的是异构集群中各个节点的处理能力，并未考虑到视频任务的特性和视频任务对计算资源的需求，可能会将需要GPU加速的视频任务调度到CPU空闲的节点上，而将需要CPU计算资源的视频任务调度到GPU空闲的节点上，这样，导致无法合理地利用异构集群中各节点的计算资源，进而导致整个异构集群在处理视频任务时的数据吞吐量较低，视频任务的处理时间较长。

发明内容

本发明实施例的目的在于提供一种异构集群中视频任务并行化方法、装置及异构集群级系统，以提高异构集群在处理视频任务时的数据吞吐量，并减少视频任务的处理时间。具体技术方案如下：

第一方面，本发明实施提供了一种异构集群中视频任务并行化方法，应用于异构集群中的集群调度器，所述异构集群还包括多个节点，所述方法包括：

获取任务缓存队列中每个视频任务的特征参数和每个节点的特征参数；其中，任一视频任务的特征参数包括：该视频任务的任务类型，以及该视频任务对应的视频的分辨率和大小；任一节点的特征参数包括：该节点的中央处理器CPU利用率、图形处理器GPU利用率、节点内存使用率、GPU显存使用率、节点上行带宽和节点下行带宽；

将所述每个视频任务的特征参数和每个节点的特征参数输入预先训练的第一深度Q网络DQN，按照每个视频任务的等候时长的长短顺序，依次确定出所述每个视频任务对应的节点；其中，所述第一DQN是根据各样本视频任务的特征参数训练得到的，任一样本视频任务的特征参数包括：该样本视频任务的任务类型，以及该样本视频任务对应的样本视频的分辨率和大小；

针对每一视频任务，将该视频任务调度至该视频任务对应的节点，以使该节点对该视频任务包括的多个子任务进行并行化处理。

第二方面，本发明实施例还提供了一种异构集群中视频任务并行化装置，应用于异构集群中的集群调度器，所述异构集群还包括多个节点，所述装置包括：

第一获取模块，用于获取任务缓存队列中每个视频任务的特征参数和每个节点的特征参数；其中，任一视频任务的特征参数包括：该视频任务的任务类型，以及该视频任务对应的视频的分辨率和大小；任一节点的特征参数包括：该节点的中央处理器CPU利用率、图形处理器GPU利用率、节点内存使用率、GPU显存使用率、节点上行带宽和节点下行带宽；