[发明专利]一种基于循环交互的立体图像超分辨率重建方法

说明书

本发明公开了一种基于循环交互的立体图像超分辨率重建方法，包括：通过队列重组转换将左右视点的多层特征重组为左右序列，重组排列遵循特征从浅层到深层的顺序；构建循环交互模块，以循环结构交互增强左右视点多层特征，所述循环交互模块由循环交互单元组成，循环交互单元由2个交互单元和跳连接组成；通过多次传播策略，循环交互输入序列中的左右视点多层特征，学习视点间依赖性以增强特征，进而获取最终的循环交互增强特征；基于循环交互增强特征，使用子像素卷积提高特征分辨率，使用n×n卷积将特征重建为高分辨率左右视图；使用相关性损失函数、差异损失函数和L1损失函数构建多损失函数机制，提升立体图像的超分辨率重建质量。

技术领域

本发明涉及深度学习、图像超分辨率重建领域，尤其涉及一种基于循环交互的立体图像超分辨率重建方法。

背景技术

随着立体显示设备的不断普及，立体图像显示质量愈发受到关注。立体显示中，高分辨率的立体图像能够为人们提供细腻逼真的立体视觉体验，因而至关重要。立体图像超分辨率重建旨在通过预测低分辨率立体图像中缺失的高频信息，实现高分辨率立体图像的重建。立体图像超分辨率重建能够恢复左右视点的纹理细节，使其被广泛应用于深度估计、视点合成和图像压缩等多种图像处理技术。此外，作为基础的图像处理任务，立体图像超分辨率重建也促进了很多高级计算机视觉任务的发展，例如：行人重识别和目标检测等。因此，立体图像超分辨率重建具有重要的研究意义和实际应用价值。然而，由于立体图像左右视点图像组成，视点间的视差关系会引起左右视图空间位置不一致，使得利用视点间信息以辅助立体图像超分辨率重建具有挑战性。因此，有效探索并利用立体图像的视点间相关性是重建高分辨率立体图像的关键。

得益于深度学习在单图超分辨率重建任务中的成功，近年来基于深度学习的立体图像超分辨率重建方法开始受到关注。Jeon等人提出了立体超分辨率方法，通过学习视差先验来获得低分辨率图像到高分辨率图像的端到端映射。Wang等人提出基于视差注意力的立体超分辨率重建方法，该方法通过使用视差注意力机制获取全局一致性，有效整合视点间信息以实现立体图像超分辨率重建。Song等人提出了基于自视差注意力机制的方法，同时获取自注意力图和视差注意力图，深入挖掘左右视点间的全局一致关系。Lei等人提出了基于深度交互学习的立体图像超分辨率重建方法，该方法通过构建交互模块以探索深层特征间的互补信息，提高立体图像超分辨率重建性能。然而，来自网络不同层级的左右视点不同层级特征间的互补信息未被充分挖掘。

因此，如何基于循环神经网络，有效利用不同层级特征间的视点间依赖性，以重建高分辨率立体图像，值得进一步的研究。这种不同层特征间的视点间依赖性需要被进一步探索和利用，以帮助重建高分辨率立体图像。

为了有效探索双视点多层特征间的视点间依赖性，基于循环神经网络的方法值得进一步的研究与开发。

发明内容

本发明提供了一种基于循环交互的立体图像超分辨率重建方法，本发明利用深度学习的特征表达能力，基于循环神经网络挖掘立体图像不同层级特征间的视点间依赖性，实现立体图像超分辨率重建，详见下文描述：

一种基于循环交互的立体图像超分辨率重建方法，所述方法包括以下步骤：

通过队列重组转换将左右视点的多层特征重组为左右序列，重组排列遵循特征从浅层到深层的顺序；

构建循环交互模块，以循环结构交互增强左右视点多层特征，所述循环交互模块由循环交互单元组成，所述循环交互单元由2个交互单元和跳连接组成；

通过多次传播策略，循环交互输入序列中的左右视点多层特征，学习视点间依赖性以增强特征，进而获取最终的循环交互增强特征；

基于循环交互增强特征，使用子像素卷积提高特征分辨率，使用n×n卷积将特征重建为高分辨率左右视图；

使用相关性损失函数、差异损失函数和L1损失函数构建多损失函数机制，提升立体图像的超分辨率重建质量。