[发明专利]一种监控视频发送端视频编码流速控制的方法

权利要求书

1.一种监控视频发送端视频编码流速控制的方法，其特征在于，包括如下步骤：

步骤1，利用等间隔采样的方式收集实际传输环境的真实带宽变化数据，制作用于训练的视频发送场景网络实时可用带宽数据集；

步骤2，利用步骤1中收集到的真实带宽数据构建监控视频发送端的仿真训练环境，训练环境根据真实带宽数据实时决定监控视频发送的最高可用带宽作为视频发送速率，并接收深度强化学习模型选择的码率设定为编码器下个时间段的编码码率；

其中，构建监控视频发送端的仿真训练环境的具体过程为：

步骤21，构建视频编码器仿真模块，视频编码器仿真模块的输入为监控视频的一些固定编码参数，包括视频的帧率、视频图像组的大小、以及选择的视频编码码率；视频编码器仿真模块的输出为一个视频帧的数据量大小；根据输入的固定编码参数，一个视频帧的数据量大小是利用均匀分布来决定：

其中，sample()操作表示从一个概率分布中采样，U(a,b)表示在区间[a,b]上的均匀分布；视频编码器仿真模块将按照视频的帧率决定的帧间隔定时向视频发送缓冲区仿真模块中的缓冲区中加入大小为FS的视频帧；

步骤22，构建视频发送缓冲区仿真模块，该模块的主体为一个仿真的视频发送缓冲区，需要指定该缓冲区所能容纳的最大帧数，当缓冲区满时如果从编码器仿真模块有新到来的视频帧，则需要清除此缓冲区中现存的最早进入的视频帧，将新到来的视频帧加入到缓冲区中；

步骤23，构建视频网络传输仿真模块，视频网络传输仿真模块的输入为步骤1中所获得的实际传输环境的真实带宽变化数据，并将可用带宽作为视频发送的速率从视频发送缓冲区仿真模块中的视频发送缓冲区消耗视频帧；如果在Δt时间间隔里可用带宽维持在BW，则在Δt的时间间隔里经过网络传输出去的总数据量D为：

D＝Δt*BW

则缓冲区中应当被清除出区的帧的总数数据量大小为D；

步骤3，构建基于信赖域的连续动作输出深度强化学习模型，设计模型训练需要的目标奖励函数，利用步骤2中的仿真训练环境训练该模型；模型以步骤2中的仿真训练环境输出的各项数据作为输入，选择下一时刻监控视频发送端的编码码率，训练模型的目标是最大化设定的目标奖励函数；

其中，构建基于信赖域的连续动作输出深度强化学习模型的具体实现过程为：

步骤31，将步骤2中仿真训练环境的输出处理为深度强化学习模型的输入，处理的主要过程为：首先分别将历史k个时间节点的各个参数进行归一化，包括编码器的编码码率、视频发送缓冲区的长度，视频发送缓冲区的变化值，视频历史发送平均速率；然后将上述参数归一化的值存放在一个输入矩阵state矩阵中；

步骤32，搭建基于信赖域的连续动作输出深度强化学习模型的神经网络部分，包括深度神经网络actor和深度神经网络critic，分别搭建并构建两个深度神经网络的训练优化目标，即各自的loss函数；

步骤33，设计训练基于信赖域的连续动作输出深度强化学习模型的奖励函数，奖励函数对于使视频发送缓冲区维持在正常水平的编码器码率选择动作，以及使编码器码率保持稳定的选择动作，给予较高奖励值，对造成视频发送缓冲区长度脱离正常水平的动作给予低的奖励值；

步骤34，将步骤31的矩阵state矩阵输入到步骤32的网络actor和网络critic中，进行神经网络的前向计算，得到网络actor和网络critic的输出，然后根据神经网络的输出得到下一个时刻的视频编码器编码码率，并计算步骤33中构建的奖励函数，最后根据奖励函数的值和两个神经网络的输出计算其对应的训练优化目标，进行神经网络的反向传播更新神经网络参数，并设定神经网络输出得到的编码器编码码率为新的编码器编码码率，编码码率将会影响下一个时刻的矩阵state；

步骤35，重复步骤34，直到所得到的奖励函数不再上升；

步骤4，将步骤3中训练好的模型集成到真实环境中进行交互，进行线上训练优化；

步骤5，将优化好的深度强化学习模型集成到监控视频发送端，进行发送码率的选择。

2.根据权利要求1所述的一种监控视频发送端视频编码流速控制的方法，其特征在于，所述步骤1中，真实带宽变化数据包括监控视频发送时的实时可用带宽变化数据以及现有公开的带宽变化数据集。