[发明专利]低时延视频压缩方法及装置

说明书

本发明提供了一种低时延视频压缩方法及装置，所述方法包括，对第一帧图像及第二帧图像进行边缘增强，所述第一帧图像为第二帧图像的上一帧；以第一帧图像作为参考图像，计算第一帧图像与第二帧图像间的低分辨率光流；根据低分辨率光流，计算出预测帧图像；根据预测帧图像，计算出压缩残差图像，并将低分辨率光流和压缩残差进行熵编码得到码流；循环执行上述步骤直至视频压缩完成。本发明的有益效果在于：能够有效地在低延时场景下进行视频压缩，并提升视频压缩效率。

技术领域

本发明涉及一种视频压缩方法及装置，尤其是指一种低时延视频压缩方法及装置。

背景技术

视频压缩的目的是去除视频中的冗余，节省存储和传输的成本。视频压缩技术主要是通过去除视频中的空间冗余、时间冗余以及编码冗余来实现的。通过视频压缩技术，可以在编码端花费尽可能少的比特数的情况下在解码端恢复出尽可能高质量的视频。也就是说，如何在尽可能不降低视频质量的情况下，用更少的比特数编码视频，是视频压缩技术的关键。

根据应用场景的不同，视频压缩技术可以分别通过利用先前帧图像或者前后帧图像作为参考来压缩当前帧图像。针对于低延时场景，视频压缩技术仅使用先前帧图像来压缩当前帧图像。由于常见的应用场景多为低延时场景，低延时的视频压缩技术相对来讲具有更高的应用价值和研究价值。

在现有的低延时视频压缩技术中，主要通过编码运动信息和残差信息来去除视频中的冗余，而运动信息通常用帧图像间的全分辨率光流来表示。但是，由于帧图像间的运动具有很强的相关性，编码全分辨率光流对于视频压缩来讲是不必要的，它消耗了大量的时间和更多的计算资源。另外，传统的视频压缩技术主要通过一些设计巧妙的模块如离散余弦变换等来完成。但是，它无法端到端地优化整个压缩系统，这限制了其性能的进一步提升。

发明内容

本发明所要解决的技术问题是：提供一种低时延视频压缩方法及装置，旨在提高在低延时场景的视频压缩效率。

为了解决上述技术问题，本发明采用的技术方案为：一种低时延视频压缩方法，包括以下步骤，

S10、对第一帧图像及第二帧图像进行边缘增强，所述第一帧图像为第二帧图像的上一帧；

S20、以第一帧图像作为参考图像，计算第一帧图像与第二帧图像间的低分辨率光流；

步骤S20具体包括：

S21、对第一帧图像及第二帧图像进行降采样，得到第一帧图像及第二帧图像的低分辨率图像；

S22、通过估计模块对原始分辨率的图像和低分辨率图像进一步计算，得到多尺度光流；

S23、将多尺度光流和经边缘增强的第一帧图像及第二帧图像共同输入细化模块，得到低分辨率光流；

S30、根据低分辨率光流，计算出预测帧图像；

步骤S30具体包括，

S31、将低分辨率光流输入到运动编码器网络中压缩，得到压缩光流；

S32、将压缩光流进行量化后输入到运动解码器网络中重建，得到低分辨率的重建光流；

S33、将低分辨率的重建光流进行上采样，得到全分辨率的重建光流；

S34、利用全分辨率的重建光流对参考图像进行图像扭曲；

S35、将全分辨率的重建光流及经扭曲的参考图像输入运动补偿网络，获得预测帧图像；

S40、根据预测帧图像，计算出压缩图像；

步骤S40具体包括，

S41、将第二帧图像与预测帧图像相减，得到残差图像；