[发明专利]结合语义分割的多描述编码方法及系统

说明书

本发明公开了结合语义分割的多描述编码方法及系统，包括：将原始图像与相对应的语义分割标签作为输入传至多描述特征生成网络；多描述特征生成网络利用图像上下文特征生成相似但又不完全相同的两个描述；生成的两个描述分别进入语义分割编码网络中编码，在该编码器中，描述首先上采样成与原始图像大小一致的上采样图像，之后与语义分割映射一起经过生成网络生成残差图像，残差图像又与上采样图像像素相加得到粗重构图像；生成的粗重构图像经信息道传输至多描述解码网络，而语义分割标签被标准编码器编码之后也传输至多描述解码网络，经解码得到最终重构图像。避免了因为传输过程中丢包问题导致的图像重构质量不理想的后果，更好的提高了编码效率。

技术领域

本发明属于图像压缩领域，尤其涉及结合语义分割的多描述编码方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

多描述编码是一种在图像视频通信领域中常见的差错控制技术，主要作用是在数据传输过程中尽可能减少失误。多描述编码的主要思想是：一个输入信源编码成多个描述并且在网络上进行传输，利用这些描述中的一个或者多个实现信源重建。显然，重建质量会随着收到的描述增多而提高。20世纪70年代，Bell实验室提出了信道分离问题，即将信号进行奇偶采样形成两路信号并在两个信道上传输，这是最早的多描述编码的思想。至此，多描述问题被正式提出，但是在早期一直处于理论研究阶段，直到Vaishampayan等提出了一个实用型的多描述标量量化器(MDSQ，Multiple Description Scalar Quantization)。之后多描述编码从理论研究向实用型系统开发转变。典型的多描述编码方法举例如下：基于采样的多描述编码、基于量化的多描述编码、基于相关变换的多描述编码、基于运动矢量的多描述编码和基于运动补偿的多描述编码方案等。

因为多描述编码有效地解决了传统信源编码在不可靠网络传输时的丢包问题以及网络延迟导致图像重建、视频重建的质量下降的问题，因此成为了一个热门的研究话题。在编码端，信源被编码成多个优先级一样的比特流(称之为描述)，让这些比特流在多个相互独立的信道上进行传输。在解码端，每一个描述都能被独立解码，以此重建可接受质量的图像或者视频序列。而且在解码端接收到描述数量越多，重建图像或视频序列的质量也会越好。即使有一部分描述在传输过程中丢失也无需等待丢失的描述重新传输，解码端同样可以根据接收到的描述与丢失的描述之间的相关性，来估计出丢失的那部分描述而且获得重建图像或视频序列。这种做法一定程度上解决了因为重新传输所造成的延时，保证了信息传输的及时性。显然，接受到的描述数量越多，重建图像质量越好，信息传输的可靠性越高。

传统的图像编码是一个编码器仅处理一个比特流，不同于此的是多描述编码可以生成多个不同的描述。其中每个描述既包括共有的一些特征又包括本身特有的信息。接收端解码重建时即使有的描述丢失了，共有的特征也能够以顺利重建可接受质量的图像。然而，假设一个描述包含了太多的共有特性，即使接收端收到了全部的描述最后的重建也不会有太大的意义。所以，必须保证描述之间的相关性又要保证描述的独立性。

语义分割是根据图像的内容将图像的像素分割成不同的对象，图像中的不同物体分别用不同的颜色标记，可以让用户对图像有更细致的了解。目前，语义分割对自动驾驶、图像搜索引擎以及医学图像应用等方面都是非常重要的。基于此，我们的方法使用语义分割图作为映射与原始图像一起生成多描述图像，并结合语义分割映射进一步获得重构图像。语义分割映射作为辅助信息能够弥补原图像与网络生成图像一定程度的差异性，从而能够获得更高分辨率的生成图像。随着深度学习的愈发成熟，在语义分割上的应用也逐渐提高，但是我们的最终目的并不是研究语义分割而是结合语义分割作其他方向的研究。

到目前为止，神经网络与深度学习在图像视频处理方面取得了非常好的成就，许多新的技术方法都有了突破。其中包括生成对抗网络(GANs,Generative AdversarialNetworks)，GANs通常用于生成接近于自然的重构图像，实际用途类似于二进制分类器。GANs包括两个网络：生成网络G以及判别网络D。