[发明专利]结合多采样率下采样和超分辨率重建技术的图像编码框架

说明书

本发明公开了一种结合多采样率下采样和超分辨率重建技术的图像编码框架。主要包括以下步骤：将待压缩图像分成32×32的块，然后在多种采样率下对每个块进行下采样；对每种下采样块进行粗略的JPEG编解码，并上采样解码后的低分辨率块；通过率失真优化选择每个块的最优的采样率与量化参数；根据选定的参数，使用JPEG对各个块进行编解码，并使用基于深度学习的超分辨率技术对解码块进行重建；将重建块组合成图像。本发明可以在全码率段提升JPEG的率失真性能，并且在相同解码图像质量下，可以实现更高的压缩率。本方法可以适用于多种主流图像编码器，实现图像数据的高效存储与传输。

技术领域

本发明涉及图像超分辨率重建和图像压缩技术，具体涉及一种结合多采样率下采样和超分辨率重建技术的图像编码框架，属于图像通信领域。

背景技术

图像压缩是一种通过减少原始图像数据间的冗余性来降低数据量的图像处理技术，可以解决图像设备的存储空间不足和传输带宽有限等问题。JPEG作为主流的图像编码标准之一，由于其具有较低的计算复杂度等优点，使得它在网络和无线通信等有损压缩领域被广泛地使用。然而，在码率有限的情况下，JPEG的压缩性能会大大降低，使得解码图像存在严重的压缩效应，从而降低了压缩后图像的视觉质量。

随着高清及超高清设备的普及，人们对图像与视频的分辨率的需求越来越高。然而受限于较高的设备成本与不同的使用环境等，使得获取的图像与视频质量仍不能满足需求。超分辨率重建是一种通过软件的方式对已知低分辨率图像进行分辨率提升的技术，可以在不需要更新硬件设备的前提下，获取到更高质量的图像，具有很高的实用性。近些年，随着机器学习的快速发展，基于深度学习的超分辨率重建方法进入了大众的视野。相比于传统的超分辨率重建技术，基于深度学习的超分辨率重建可以获得更高质量的图像，同时在重建阶段，具有更快的重建速度。

在编码端对待压缩图像进行下采样，同时在解码端通过超分辨率技术获得原始分辨率图像的方案，在一定程度上解决了现有压缩标准在低码率段效果不佳的问题。但是，该方案仅适用于较低码率段，随着码率的提升，压缩性能会有很大程度的下降，因此在实际应用中具有很大的局限性。

发明内容

本发明提出的结合多采样率下采样和超分辨率重建技术的图像编码框架，用于提升JPEG编码标准在全码率段的率失真性能。同时所提出的框架也可应用于其它的第三方编码器以提升其编码性能。

本发明提出的结合多采样率下采样和超分辨率重建技术的图像编码框架，主要包括以下操作步骤：

(1)将原始图像按32×32大小进行分块，然后对每个块进行多种采样率的下采样；

(2)对下采样后的小块进行多量化参数的预编解码，并统计量化后DCT系数的非零值的个数；

(3)用插值方法将解码后的图像小块插值到原始分辨率，并计算重建块与原始块间的均方误差；

(4)使用率失真优化算法，选择最优的采样率及其对应的下采样模式与量化参数；

(5)根据获得的最优采样模式与量化参数，使用JPEG对原始图像块进行下采样与编解码；

(6)通过使用基于深度学习的超分辨率重建技术训练出的模型，对解码后的图像小块进行超分辨率重建；

(7)将重建的图像块按照相应的方式组合，形成最终解码图像。

附图说明

图1是本发明结合多采样率下采样和超分辨率重建技术的图像编码框架的框图

图2是基于深度学习的超分辨率重建方法的针对性模型训练过程及其重建的框图

图3是本发明及JPEG压缩算法对‘Bike’测试图像在全码率段的率失真性能比较