[发明专利]一种监控视频发送端视频编码流速控制的方法

说明书

本发明公开了一种监控视频发送端视频编码流速控制的方法，主要步骤包括：(1)收集视频发送场景网络实时可用带宽数据集；(2)利用真实带宽数据构建监控视频发送端的仿真训练环境，训练环境根据真实带宽数据实时决定监控视频发送的最高可用带宽，作为视频的发送速率，并接收深度强化学习模型选择的码率调整编码器的编码码率；(3)构建基于信赖域的连续动作输出深度强化学习模型，并利用仿真环境训练该模型；(4)将训练好的模型放进监控视频集成到真实环境中交互，进行线上训练优化；(5)将优化好的深度学习模型集成到监控视频发送端，进行发送端编码器的编码码率决策。本发明利用深度强化学习解决了监控视频发送端的编码流速控制问题。

技术领域

本发明涉及实时视频传输领域，尤其涉及监控视频监控端的视频编码流速控制的方法。

背景技术

监控视频通常在实时性、流畅度以及视频画面质量等方面都具有较高的要求。然而在实际的监控环境中，从监控视频的采集端到以监控室为例的接收端，视频的传输往往会经过较为复杂的网络环境，复杂的网络环境会导致带宽受限和时延波动的情况发生，从而影响监控视频播放端(接收端)的实时性、流畅度和清晰度。为了保证监控视频的传输效果和提升监控视频的观看体验，需要对监控视频传输过程中所有环节都进行有针对性的优化，特别是视频发送端的编码流速控制部分。

监控视频发送端需要精确的编码流速控制，其主要的原因在于：一方面，监控视频的发送速率是由复杂的网络环境所决定的，具有变化迅速和难以预测等特征；另一方面，监控视频发送端视频采集后的编码阶段的速率是可以通过人为调整编码器编码参数进行控制的，视频的发送过程中，从视频编码器编码到码流通过网络发送的过程中间往往会经过一个视频发送缓冲区来保证视频发送的流畅度，视频发送缓冲区的消耗速度是由网络实时可用带宽也就是实际的发送速率决定的，视频发送缓冲区的增加速度是由编码器的编码码率所决定的，因此会出现视频编码码率和视频发送速率出现不匹配的问题。

如果监控视频发送端的编码速率和视频的发送速率不匹配，就可能导致视频发送端的视频发送缓冲区溢出或者“饥饿”的现象。视频发送缓冲区溢出即为视频缓冲区里的视频帧数已经达到了该缓冲区的容量上限，如果想再存储编码器编码后的视频帧，则需要将最早进入该缓冲区的视频帧清除出去，导致视频传输过程中的“丢帧现象”。另一方面，视频发送缓冲区的饥饿现象主要是视频发送缓冲区变空，往往是由视频编码的码率长期低于视频发送的实时可用带宽造成的，这说明了视频发送的过程中带宽的利用率过低，浪费了大量的可用带宽资源，同时监控视频接收端的视频清晰度也还有进一步提升的空间。

因此，监控视频发送端的视频编码流速控制主要想达到的目的就是使得监控视频编码器的编码速率和视频发送速率相匹配，当实时可用带宽较大的时候，说明视频发送的速率较大，可以适当地提升视频编码器的编码速率；当实时可用带宽下降时，则视频发送速率降低，应当及时降低编码器的编码速率，避免视频发送缓冲区出现溢出而导致视频丢帧现象发生。

要实现上述的速率匹配最直观的方式是需要提前预知下一个时刻视频发送的实时可用带宽，然后根据预测的实时可用带宽的水平调整下个时刻编码器的编码速率。然而在实际的环境中，由于实际可用带宽的变化通常没有规律可言，对下一个时刻的实际可用带宽的估计是相当困难的，因此只能通过观察视频发送过程中的一些能够测量到的特征参数来对当前传输环境进行粗略估计，根据观测到的特征参数来选择下一个时刻的编码器编码码率。通过能够测量到的特征参数来进行速率匹配的难点在于如何根据测量到的参数准确判断当前的视频发送环境的特征，特别是当前网络的实时可用带宽。

发明内容

针对上述监控视频发送时的码率控制问题，本发明提出了一种基于深度强化学习的监控视频发送端视频编码流速控制方法。

本发明采用的技术方案如下：

一种监控视频发送端视频编码流速控制的方法，包括如下步骤：