[发明专利]一种网络轻量级视频流传输方法、系统及设备

说明书

本发明公开了一种网络轻量级视频流传输方法、系统及设备，编码端将原始视频进行空间分辨率下采样，然后对降分辨率视频进行编码，具体包含关键帧判断、视频下采样、关键帧编码、非关键帧编码、码流复用五个步骤；解码端对解码视频通过超分辨率重建恢复视频应有的空间分辨率，具体包含码流解复用、视频解码、视频超分辨率重建三个步骤及一个视频帧延时缓冲区。本发明通过帧间运动复杂度判断关键帧，通过边缘保持的下采样对视频帧进行空间抽样，通过视频超分辨率重建网络重构高分辨率视频帧。本发明基本不牺牲视频清晰度，但显著降低了视频流的数据量，有利于压缩视频的网络传输。

技术领域

本发明属于多媒体技术领域，涉及一种网络视频流传输方法、系统及设备，具体涉及一种网络轻量级视频流传输方法、系统及设备。

背景技术

突如其来的新冠肺炎使得全球多数国家采取社会隔离措施，人们的生活、工作、学习、社交突然转移到网络空间，导致网络流量暴增，给远程可视化办公、网课等依赖严重视频的应用带来挑战。由于社会已经习惯和享受到了网络空间工作和学习的优点和便捷性，未来网络化远程办公、学习、会议、社交将成为一种常态，随之而来的因网络长期处于重载引起的流量拥塞也会成为一种常态。

提高视频流传输效率的有效途径就是视频编码。自80年代以来，国际标准组织制定了系列视频编码标准，形成了以块为单元的预测加变换的混合编码框架。然而，视频编码技术的压缩效率差不多十年才能提高一倍，国际视频编码标准的演进周期也需要十年。例如，从2003年发布H.264标准到2013年发布H.265标准，经历了整整十年。可见，编码效率的进步明显跟不上视频数据量的增长趋势，为此，必须为高负荷网络视频业务时代寻求新的解决之道。

图像超分辨率（Super-Resolution，SR）是指由一幅低分辨率图像或图像序列恢复出高分辨率图像的技术。当前基于深度学习的视频图像的超分辨率技术获得巨大成功。2017年，韩国首尔大学研发了一种增强型深度超分辨率网络，其性能表现超越了之前SR方法。同年，谷歌推出的RAISR（Rapid and Accurate Image Super-Resolution）技术，利用机器学习将低分辨率图像转化为高分辨率图像，能够在节省75%带宽的情况下效果达到甚至超过原图。2019年，华为推出了 HiSR （Hisilicon Super-Resolution）超分辨率技术，借助深度学习算法将低分辨率图片转化生成高清图片，并在移动端实现了快速预览高清图片的效果。

发明内容

本发明的目的在于基于超分辨率技术强大的图像细节重建能力，提供一种网络轻量级视频流传输方法、系统及设备。首先通过空域下采样降低原始视频帧的空间分辨率，对下采样后的视频进行压缩使得压缩码流体量更小，然后通过超分辨率重建恢复视频帧原有的空间分辨率，从而在基本不牺牲视频清晰度的前提下显著减少带宽占用。

本发明的方法所采用的技术方案是：一种网络轻量级视频流传输方法，包括编码过程和解码过程；

所述编码过程，具体实现包括以下步骤：

步骤1：针对输入视频，进行关键帧判断；

当帧间运动复杂度C超过预设门限T时，则判断为关键帧，否则判断为非关键帧；

步骤2：针对关键帧，直接进行编码；针对非关键帧，首先进行下采样，然后结合运动矢量进行编码；

步骤3：对关键帧和非关键帧的压缩码流进行传输前的封装，使得接收端能够对二者进行区分；

所述解码过程，具体实现包括以下步骤：

步骤4：将关键帧与非关键帧的码流拆分；

步骤5：视频解码，获得关键帧与非关键帧；

解码的视频帧送入视频帧延时缓冲区缓存起来，用于供给视频超分辨率重建时需要的多个连续视频帧；同时，将解析出的运动矢量参数送入视频超分辨率重建网络中；

步骤6：利用视频超分辨率重建网络，进行视频超分辨率重建，获得超分辨率的非关键帧；