[发明专利]一种基于多维度视差先验的双目图片超分辨率重建方法

说明书

本发明公开了一种基于多维度视差先验的双目图片超分辨率重建方法，包括以下步骤：S1：将双目相机采集的第一视图和第二视图输入至级联注意力双目超分网络的两条分支通道中；S2：将3通道的第一视图和第二视图分别转化为64通道的第三视图和第四视图；S3：依次提取和聚合第三视图和第四视图的特征，并提取视图特征的视差先验信息；S4：根据视图特征的视差先验信息得到双目相机采集的第一视图和第二视图的交互关系，并将第三视图和第四视图的特征融合至上采样层，对融合后的第三视图和第四视图的特征进行超分辨率重建。本发明还提出一个轻量级的级联注意力双目超分网络，它在模型参数和重建效果上达到很好的平衡。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于多维度视差先验的双目图片超分辨率重建方法。

背景技术

近年来，随着光学成像技术的发展，双目摄像头在我们的日常生活中越来越普及。比如，几乎所有的智能手机都配备了双目摄像头以获得更好的图像质量，自动驾驶的汽车也使用双目摄像头来捕捉场景图像的深度图。此外，双目摄像机在计算机辅助手术中也受到了重视。因此，随着双目成像器件的发展，对高分辨率立体图像的要求越来越高，发展双目超分辨率技术迫在眉睫。

得益于深度学习的蓬勃发展，基于单张图像的超分辨率算法在最近取得显著的进步，它致力于从一张低分辨率图像中恢复出对应的高分辨率的图像。通过模型训练，基于单张图像的超分辨率算法方法可以从外部训练数据和内部图像特征信息中获取可行信息，来达到恢复高清细节的目的。不同于单张图像的超分技术，双目超分辨率算法的输入是两张不同视角的低分辨率图像，它致力于恢复出某一视角的高分辨率图像。由于两张不同视角的低分辨率图像存在比较大的视差信息，直接运用现成的单张超分辨率算法分别恢复不同视角的图像是不可行的，它忽略了其它视点的亚像素偏移信息所带来的交叉视图信息的优点，最终导致性能下降。

因此，最近的双目超分辨率方法致力于利用视差先验信息，同时利用现有的单张图像的超分辨率算法来挖掘内部图像特定信息。具体来说，Jeon 等人在文献“D. S. Jeon,S. Baek, I. Choi, and M. H. Kim, Enhancing the spatial resolution of stereoimages using a parallax prior, in CVPR 2018, pp. 1721–1730”中提出了 StereoSR网络，它首先论证了视差先验在立体视觉中的重要性，并提出通过联合训练两个级联子网络来学习视差先验。基于StereoSR, Wang等人在文献“L. Wang, Y. Wang, Z. Liang, Z.Lin, J. Yang, W. An, and Y. Guo, Learning parallax attention for stereo imagesuper-resolution, in CVPR 2019, pp. 12 250–12 259”提出了一种新的用于立体图像超分辨网络的视差注意网络PASSRnet，它引入了一种具有全局感受野的视差注意机制来处理立体图像间的视差信息。此外，Ying等人在文献“X. Ying, Y. Wang, L. Wang, W.Sheng, W. An, and Y. Guo, A stereo attention module for stereo image super-resolution, in IEEE Signal Process. Lett. 2020, vol. 27, pp. 496–500”提出了一种通用的立体注意模块（SAM）来利用交叉视角和视角内信息，它可以嵌入到任意单张超分辨网络中进行双目图像超分。然而，StereoSR仅水平地移动右图像64个像素以模拟先前的粗略视差。同时，PASSRnet和SAM只考虑了对两个原始视点的视差关注，而忽略了两个特征之间的多维信息。

因此，最近的双目超分辨率方法致力于利用视差先验信息，同时利用现有的单张图像的超分辨率算法来挖掘内部图像特定信息。

发明内容

本发明的目的是为了解决重建双目图片超分辨率的问题，提出了一种基于多维度视差先验的双目图片超分辨率重建方法。