[发明专利]端到端双目图像联合压缩方法、装置、设备和介质

说明书

本公开实施例涉及一种端到端双目图像联合压缩方法、装置、设备和介质，其中，该方法包括：将双目图像中第一目图像输入第一编码器，得到第一图像特征；利用第一条件熵模型对第一图像特征进行压缩处理；将第一目图像和双目图像中的第二目图像输入深度网络回归模型，输出单应性透视变换矩阵；基于单应性透视变换矩阵对第一目图像进行透视变换，得到第一变换图像；利用第二编码器确定第二目图像和第一变换图像之间的差异图像数据，并基于差异图像数据得到第二图像特征；利用第二条件熵模型对第二图像特征进行压缩处理。本公开实施例降低了双目图像压缩的计算复杂度，充分挖掘了两幅图像之间的相关性，降低了编码比特率，并且方案适用范围更为广泛。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种端到端双目图像联合压缩方法、装置、设备和介质。

背景技术

双目图像联合压缩(Stereo image compression，SIC)旨在共同压缩一对左右的双目影像，实现两个图像的高质量高效率压缩。在自动驾驶领域、虚拟现实、和视频监视领域，双目图像联合压缩技术已成为最关键的技术之一，也在最近引起了来自学术界和工业界越来越多的关注。通过充分利用两个图像中的互信息，SIC与独立压缩每个图像相比，可以获得更高的压缩率。

与单目图像压缩相比，SIC为更具挑战性，需要充分利用左右双目图像之间的内在联系。现有的SIC方法包括：(1)依靠匹配提取人为设计的特征点，采用传统的优化理论使速率失真损失最小化，但这种压缩方式限制了压缩效率；(2)基于深度学习的双目图像压缩方法(Deepstereo image compression，DSIC)，利用双目图像对之间的内容冗余来降低联合比特率，但该方法是密集参数连接的图像匹配方案，具有很高的计算复杂度，而且，该方法要求左右图像必须在同一水平线上，即双目图像拍摄过程中摄像机的水平位置需要保持一致，导致方案只能适用一些特定情况。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种端到端双目图像联合压缩方法、装置、设备和介质。

第一方面，本公开实施例提供了一种端到端双目图像联合压缩方法，基于端到端双目图像联合压缩模型实现，所述压缩模型包括深度网络回归模型、第一编码器、第一条件熵模型、第二编码器和第二条件熵模型，所述第一条件熵模型与所述第二条件熵模型属于相同类型的熵模型，均包括基于混合高斯模型的熵模型或基于上下文的熵模型；所述方法包括：

将双目图像中第一目图像输入所述第一编码器，得到用于表征所述第一目图像的第一图像特征；

利用所述第一条件熵模型对所述第一图像特征进行压缩处理，得到所述第一目图像的压缩码流数据；

将所述第一目图像和所述双目图像中的第二目图像输入所述深度网络回归模型，输出所述第一目图像和所述第二目图像之间的单应性透视变换矩阵；

基于所述单应性透视变换矩阵对所述第一目图像进行透视变换，得到第一变换图像；

利用所述第二编码器确定所述第二目图像和所述第一变换图像之间的差异图像数据，并基于所述差异图像数据，得到用于表征所述第二目图像的第二图像特征；

利用所述第二条件熵模型，基于所述第一图像特征，对所述第二图像特征进行压缩处理，得到所述第二目图像的压缩码流数据。

第二方面，本公开实施例还提供了一种端到端双目图像联合压缩装置，基于端到端双目图像联合压缩模型实现，所述压缩模型包括深度网络回归模型、第一编码器、第一条件熵模型、第二编码器和第二条件熵模型，所述第一条件熵模型与所述第二条件熵模型属于相同类型的熵模型，均包括基于混合高斯模型的熵模型或基于上下文的熵模型，所述装置包括：

第一图像特征确定模块，用于将双目图像中第一目图像输入所述第一编码器，得到用于表征所述第一目图像的第一图像特征；