[发明专利]基于深度强化学习的直播视频云转码资源分配与调度方法

说明书

本发明提出一种基于深度强化学习的直播视频云转码资源分配与调度方法，属于机器学习领域和多媒体内容处理领域。该方法在训练阶段，通过在模拟环境中对转码过程进行仿真，训练一个能够根据转码任务工作负载变化动态调整云计算资源分配的神经网络，并在分配的云计算资源上调度直播视频内容的转码任务；在执行阶段，利用训练好的神经网络，根据系统状态作出资源分配的实时决策并在云平台上调度转码任务。该发明基于深度强化学习方法，能够根据转码任务负载变化动态调整云计算资源规模，节省资源使用开销；基于对转码任务时间上下限的估算方法，能够及时完成转码任务的调度执行，满足服务质量要求。

技术领域

本发明提出了一种基于深度强化学习的直播视频云转码资源分配与调度方法，属于机器学习领域和多媒体内容处理领域。

背景技术

近年来，以Twitch、斗鱼、快手等为代表的移动直播平台在市场上取得了巨大成功。目前，每个月有超过320万名主播在Twitch上开播，每天的活跃观众超过15万人。在这些平台上，视频内容的生产和制作不再限于专业的内容生产机构，数量众多的普通用户也可以使用各种终端设备向全球的观众分享游戏、娱乐等生活内容。

作为连接内容生产者和内容消费者的桥梁，直播平台需要将主播上传的视频转换为不同分辨率和码率的多个版本，以适配不同的用户设备和网络带宽，提高用户观看直播的体验。视频转码本质上是对视频先解码，再编码的过程，需要消耗大量的计算资源。为了避免维护大量专用转码服务器带来的高额运营成本，很多直播平台选择使用可以弹性扩展和按实际使用量收费的云端转码服务为直播业务提供支撑。例如，快手和映客分别使用了腾讯云和阿里云的转码服务。

作为转码服务的提供方，云计算平台需要保证转码服务的稳定、高效。通常，转码服务的用户(即直播平台)会与云服务提供商签订服务等级协议(Service LevelAgreement，SLA)，就转码服务的质量标准达成约定，云平台需要根据直播流的到达情况为其分配足够的计算资源，以满足服务等级协议的要求。

然而，与传统的视频点播应用相比，移动直播应用由于其独特的业务模式，对转码资源的需求也有所不同：(1)实时性：在直播过程中，观众可以通过发送文字信息与主播进行互动，因此直播画面的实时性对用户体验至关重要；(2)动态性：转码任务的计算需求取决于源视频与目标视频的格式，在直播应用中，主播使用各种类型的终端设备录制直播内容，因此主播上传的视频格式具有多样性。另外，主播的直播时间和时长有很大的随意性，因此造成云端接收到的直播流的数量和长度随时间动态变化。(3)不确定性：主播每次直播的内容都有变化，对提供转码服务的云平台而言，无法通过相同内容转码时间的历史记录对当前直播流的转码时间进行准确预测。

由于直播视频的上述特点，在难以实现对直播转码工作负载实时、精准预测的情况下，为了满足服务等级协议的约定，云服务提供商往往预先分配冗余的计算资源以保证服务质量，一是造成了计算资源的浪费，同时也提高了运营成本。

现有的方法中，在转码任务的云计算资源分配方面，主要采用启发式算法确定资源配额，例如，对系统服务质量设定阈值上下限U和L，若系统服务质量高于阈值上限U，就减少一定的计算资源；若系统服务质量低于阈值L，就增加一定的计算资源。这种方法由于控制资源分配的决策规则是根据预先设定的场景或条件制定，当系统的状态变化超出预先设定的规律时，往往无法及时做出调整，导致资源超分或分配不足，影响直播业务的运行；在转码任务调度方面，现有的方法主要采用先到先服务的策略，即对已有的转码任务按到达时间安排调度优先级，对先到达的任务优先安排执行，这种方法没有考虑由于直播内容不同而造成的转码时间差异，容易导致转码超时。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种基于深度强化学习的直播视频云转码资源分配与调度方法。本发明能够根据转码任务负载变化动态调整云计算资源规模，及时完成转码任务的调度执行，节省资源使用开销，满足服务质量要求。