[发明专利]一种基于目标编码的端到端图像压缩方法

说明书

本发明公开了一种基于目标编码的图像压缩方法，步骤如下：(1)获得输入图像的语义分割结果；(2)将语义分割结果转化为几组二值化矩阵，分别对应为图像中各个目标和背景区域的掩膜；(3)将图像输入若干个编码器，得到若干个不同码率的特征图；(4)将各掩膜与相应码率的特征图相乘，得到各特定区域的特征图；(5)将各特征图量化；(6)分别计算各量化特征图的信息熵；(7)将所有量化特征图相加得到整幅图像的完整特征图；(8)对特征图进行熵编码和熵解码；(9)将图像特征图输入解码器，得到重建图像；(10)构建损失函数，利用优化器训练图像压缩网络，得到对应于某一码率的最优模型。利用本方法对图像进行压缩，能够有效提升在极低码率情况下重建图像的主观质量。

技术领域

本发明涉及图像压缩领域，尤其涉及一种基于目标编码的端到端图像压缩方法。

背景技术

图像压缩在现代数字信号处理和多媒体应用中是一项非常基础且重要的研究工作，该技术使得信息的高效传输和存储成为可能。现有的图像压缩算法包括传统方法和基于深度学习的端到端压缩算法。传统算法例如：JPEG(Joint Photographic ExpertsGroup)、JPEG2000、BPG(Better Portable Graphics)等在低码率时表现不佳，重建图像会有很严重的块效应、模糊、振铃效应等缺陷。基于深度学习的图像压缩方法在主观质量和客观指标上相比于传统算法都取得了相当大的提升，有良好的应用前景。然而，目前大多数算法都采取均匀编码的方式，对图像的每个像素点都分配相同的码率。

对于包含目标物体的图像，人眼往往更关注前景目标，而背景区域的质量对人眼视觉的主观感受影响不大。因此，对前景目标分配更高码率、降低背景区域的码率可以在不增加总体码率消耗的情况下，提升在极低码率条件下重建图像的主观质量以及提升后续计算机视觉任务的精度。然而，由于传统算法对目标特征的提取精度不高以及硬件算力有限等限制，基于目标编码的传统研究方法未能得到实际应用。近年来，随着深度学习的发展，深度神经网络对不规则目标的特征提取精度大大提升，硬件算力也不断增强，基于目标编码的图像压缩问题期望可以得到很好地解决。

发明内容

针对以上现有图像压缩方法中存在的缺陷，本发明的目的在于提出一种可行的基于目标编码的端到端图像压缩方法。

为达上述目的，本发明采用的技术方案如下：

一种基于目标编码的图像压缩方法，包括如下步骤：

步骤1，将待压缩图像输入预训练完成的目标分割神经网络，得到输入图像的语义分割结果；

步骤2，将语义分割结果转化为几组二值化矩阵，矩阵元素为1的区域代表某目标位置，矩阵元素为0的区域代表图像中该目标以外的其他区域，得到图像中各目标区域掩膜和背景区域掩膜；

步骤3，将输入图像分别用若干个具有相同网络结构但不同模型参数的编码器进行编码，得到对应于不同码率的图像特征图；

步骤4，将各目标区域掩膜与相应的高码率图像特征图相乘，得到图像各目标区域的特征图；将背景区域掩膜与相应的低码率图像特征图相乘，得到图像背景区域的特征图；

步骤5，对各目标区域的特征图和背景区域的特征图进行量化操作，得到目标量化特征图和背景量化特征图；

步骤6，利用基于神经网络的信息熵计算网络，分别计算出目标量化特征图和背景量化特征图的信息熵；

步骤7，将各目标量化特征图和背景量化特征图相加，得到图像完整的特征图；

步骤8，利用计算出的信息熵对步骤7得到的图像特征图进行熵编码和熵解码；

步骤9，将熵解码得到的重建特征图输入解码器，得到重建图像；