[发明专利]异构集群中视频任务并行化方法、装置及异构集群系统

摘要

本发明实施例提供了一种异构集群中视频任务并行化方法、装置及异构集群系统，所述方法应用于异构集群中的集群调度器，所述异构集群还包括多个节点，所述方法包括：获取任务缓存队列中每个视频任务的特征参数和每个节点的特征参数；将所述每个视频任务的特征参数和每个节点的特征参数输入预先训练的第一深度Q网络DQN，按照每个视频任务的等候时长的长短顺序，依次确定出所述每个视频任务对应的节点；针对每一视频任务，将该视频任务调度至该视频任务对应的节点，以使该节点对该视频任务包括的多个子任务进行并行化处理。本发明实施例可以提高异构集群在处理视频任务时的数据吞吐量，并减少视频任务的处理时间。

主权项

1.一种异构集群中视频任务并行化方法，其特征在于，应用于异构集群中的集群调度器，所述异构集群还包括多个节点，所述方法包括：获取任务缓存队列中每个视频任务的特征参数和每个节点的特征参数；其中，任一视频任务的特征参数包括：该视频任务的任务类型，以及该视频任务对应的视频的分辨率和大小；任一节点的特征参数包括：该节点的中央处理器CPU利用率、图形处理器GPU利用率、节点内存使用率、GPU显存使用率、节点上行带宽和节点下行带宽；将所述每个视频任务的特征参数和所述每个节点的特征参数输入预先训练的第一DQN，按照每个视频任务的等候时长的长短顺序，依次确定出所述每个视频任务对应的节点；其中，所述第一DQN是根据各样本视频任务的特征参数训练得到的，任一样本视频任务的特征参数包括：该样本视频任务的任务类型，以及该样本视频任务对应的样本视频的分辨率和大小；针对每一视频任务，将该视频任务调度至该视频任务对应的节点，以使该节点对该视频任务包括的多个子任务进行并行化处理；所述第一DQN的训练过程包括：构建初始的第一DQN，以及初始的第一目标神经网络，并初始化回放内存；获取各样本视频任务的特征参数；确定各样本视频任务的执行队列，所述执行队列为t₁,t₂,...,t_n；令j＝1；以样本视频任务t_j的特征参数和每一样本节点的当前特征参数向量，构成观测信息x(t_j)；以状态信息s(t_j‑1)、动作a(t_j‑1)和所述观测信息x(t_j)，构成状态信息s(t_j)；其中，任一样本节点的特征参数向量是由该样本节点的中央处理器CPU利用率、图形处理器GPU利用率、节点内存使用率、GPU显存使用率、节点上行带宽和节点下行带宽组成的向量，设定s(t₀)＝0，设定a(t₀)＝0；将所述状态信息s(t_j)输入所述第一DQN，以使所述第一DQN确定动作a(t_j)，输出由所述动作a(t_j)所确定的样本视频任务t_j对应的样本节点；基于样本视频任务t_j对应的样本节点，计算所述动作a(t_j)对应的奖励r(t_j)，并根据所述状态信息s(t_j)和所述动作a(t_j)，更新所述每一样本节点的特征参数向量；以样本视频任务t_j+1的特征参数和更新后的每一样本节点的特征参数向量，构成观测信息x(t_j+1)；以所述状态信息s(t_j)、所述动作a(t_j)和所述观测信息x(t_j+1)，构成状态信息s(t_j+1)；将转移样本e(t_j)存储至所述回放内存，其中，e(t_j)＝(s(t_j),a(t_j),r(t_j),s(t_j+1))；从所述回放内存中随机选取1个转移样本，根据所选取的转移样本，确定所述第一DQN输出的累积奖励值；根据所确定的累积奖励值和当前第一目标神经网络确定的累积奖励值真值，利用预设的损失函数，计算所述第一DQN对应的损失值；当所计算的损失值不低于第一预设值时，根据所选取的转移样本，更新所述第一DQN的网络参数，并判断j是否等于多个预定值的一个预定值；若不等于，令j增加1，返回所述以样本视频任务t_j的特征参数和每一样本节点的当前特征参数向量，构成观测信息x(t_j)的步骤；若等于，将更新后的所述第一DQN的网络参数复制到当前第一目标神经网络，以使更新后的第一目标神经网络确定更新后的累积奖励值真值，并令j增加1，返回所述以样本视频任务t_j的特征参数和每一样本节点的当前特征参数向量，构成观测信息x(t_j)的步骤；当所计算的损失值低于第一预设值时，结束训练，得到训练完成的第一DQN。