[发明专利]一种基于ROI的实时视频多路并行传输码率控制方法

权利要求书

1.一种基于ROI的实时视频多路并行传输码率控制方法，其特征在于，通过YOLO对输入的YUV数据进行感兴趣区域检测提取，之后根据发送缓冲区充盈度和接收端反馈的各条链路状况，分别针对感兴趣区域和非感兴趣区域调整码率控制策略，编码后的视频码流通过分流策略分发到各条链路，最终由视频帧集成器合并复原，通过视频解码器解码播放；该方法具体实现步骤如下：

步骤S1、采集视频帧原始数据，每帧图像按预设像素划分后依照光栅顺序排列，获得区域块坐标；

步骤S2、以YOLO作为目标检测框架，在COCO数据集上训练完成之后，读取视频YUV序列，将视频帧逐帧送进训练好的YOLO目标检测模型进行目标检测，获取每一帧视频的感兴趣区域的像素坐标；

步骤S3、实时探测获取多路并行传输LTE和WIFI链路带宽μ_n、往返时延RTT_n，根据“注水算法”作为帧号为k的视频帧分流策略以获取各条传输链路分配的数据大小分流后视频帧在LTE链路和WIFI链路上拥有相同的传输时延，该传输时延即“注水算法”中的“水线”其中k_left表示第k个帧推送到发送缓冲区前，当前端正在发送视频帧号；由及“注水算法”能够获得含ROI帧比特上界

步骤S4、根据监控反馈的发送缓冲区充盈度B，获得满足缓冲区不上溢的最大ROI帧比特大小L₂，L₂≤B；

步骤S5、比较L₁，L₂含ROI帧比特上界大小，共同决策含ROI帧比特资源上界L＝Min(L₁，L₂)；

步骤S6、基于视频帧感兴趣区域及非感兴趣区域二者与量化步长之间的关系进行建模后，根据L推出视频帧平均量化参数QP_ave；编码所需比特数与量化步长成反比，编码整个帧所需要的比特数等于编码感兴趣区域和非感兴趣区域的比特数目之和，因此：其中QP_step-roi、QP_step-nroi及QP_ave-step分别表示感兴趣区域ROI、非感兴趣区域ROI以及帧的量化步长，当感兴趣区域及非感兴趣区域的量化参数QP_roi、QP_n-roi分别取20、51极端情况下，假定帧平均量化步长QP_ave-step所对应的量化参数为26时，X＝47％，即，帧平均量化参数为26的取值能确保图像一半大小的面积区域为高质量感兴趣区域，如果感兴趣区域小于图像大小的一半，其质量会更好；令QP_accept＝26，表示视频质量良好，将QP_ave同QP_accept进行比较预估当前比特资源充裕度；

步骤S7、在QP_ave≥QP_accept比特资源充裕情况下，比特资源足够保证整帧图像主观视觉良好；此时比特资源不应该浪费在感兴趣区域内，去提升视觉上察觉不到的质量改善上，而应该用于增强非感兴趣区域，提高图像质量；此时通过将多余比特资源分配给非ROI区域，提高视频整体质量；

步骤S8、在QP_ave＜QP_accept比特资源有限的情况下，比特资源不足够保证整帧图像保持良好主观视觉，故需要牺牲非感兴趣区域的比特资源保证感兴趣区域的资源，以满足时延约束，并保证ROI质量；基于优先级，首先保证ROI的QP为26，其次将剩余比特分配给非ROI区域。

2.根据权利要求1所述的一种基于ROI的实时视频多路并行传输码率控制方法，其特征在于，所述发送缓冲区充盈度B由累积编码比特和累积发送比特之差计算。

3.根据权利要求1所述的一种基于ROI的实时视频多路并行传输码率控制方法，其特征在于，量化参数QP取52个数值，从0到51。

4.根据权利要求3所述的一种基于ROI的实时视频多路并行传输码率控制方法，其特征在于，在QP＝20的情况下，视频质量非常好；在QP＝51的情况下，视频压缩大，导致非常差的视觉质量。

5.一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-4所述的方法步骤。