[发明专利]一种用于光场超分辨率的多视图信息注意力交互网络

说明书

本发明公开了一种用于光场超分辨率的多视图信息注意力交互网络，一组低分辨率的光场图像作为网络的输入，顶部分支包含重塑过程、特征提取模块、四个双注意力模块；底部分支包含特征提取模块和四个多视图注意力模块；这两条支路提取的特征信息共同汇聚到融合重建模块，首先利用全局图像特征更新每个单视角图像特征，使得每个视角特征能够融合全局视角特征，再经过上采样模块，最后与输入图像的双三次上采样图像相加得到最后的输出图像。本发明利用多视图注意力模块让全局视角的权重大小变得不一样，从而能够更好、更合理地融合不同视图之间的信息。本发明在图像细节和纹理重建效果方面均比其他方法更好，视觉效果更接近于地面真实图像。

技术领域

本发明涉及光场成像技术领域，具体涉及一种用于光场超分辨率的多视图信息注意力交互网络。

背景技术

在数字化、网络化的时代，数据流转迅猛，相机正在快速进入光场相机时代。光场(Light Field，LF)成像技术能够记录完整的四维光场信息，经过四维图像处理后，能够实现立体深度信息提取、自由对焦、多视角视差图像提取等功能，并且能应用在四维安防监控、三维形貌检测、人脸辨识、航空航天等众多领域。

虽然四维光场图像同时提供了空间和角度信息，但低空间分辨率是难以发挥其优势的根本问题。因此，为了提高光场图像的空间分辨率，光场超分辨率 (Light Fieldsuper-resolution，LFSR)算法得到了广泛的研究。最近，基于深度学习的方法已经成功地应用于LFSR，并取得了良好的性能。由于光场中的遮挡和非朗伯反射，不同视角、不同通道的信息具有不同的重要性。现有的基于学习的LFSR方法对光场图像的视角特征和空间-通道特征一视同仁，不能有区别地利用光场图像中的信息来进一步提高性能。

发明内容

有鉴于此，为了解决现有技术中的上述问题，本发明提出一种用于光场超分辨率(Light Field super-resolution，LFSR)的多视图信息注意力交互网络 (Multi-ViewInformation Attention Interaction Network，MIAIN)。

本发明通过以下技术手段解决上述问题：

一种用于光场超分辨率的多视图信息注意力交互网络，包括顶部分支、底部分支、融合重建模块和上采样模块；

所述顶部分支包含依次串联的重塑过程、特征提取模块和四个双注意力模块；并将四个双注意力模块的输出进行级联；

所述底部分支包含依次串联的特征提取模块和四个多视图注意力模块；并将四个多视图注意力模块的输出进行级联；

将一组低分辨率的光场图像作为网络的输入，分别经过顶部分支和底部分支提取光场图像的特征信息；这两条支路提取的特征信息共同汇聚到融合重建模块，融合重建模块首先利用全局图像特征更新每个单视角图像特征，使得每个视角特征能够融合全局视角特征，再经过上采样模块，最后与输入图像的双三次上采样图像相加得到最后的输出图像。

进一步地，利用残差密集空洞空间金字塔池化模块和残差块作为网络的特征提取模块；选择卷积核扩张率为1、2和5；通过级联多个空洞卷积层，越往后的神经元就能获得越来越大的感受野；扩张率为1、2和5的空洞卷积感受野分别为3×3、5×5和11×11，级联后的感受野为17×17；将每一层的输入和输出的特征结合起来作为下一层的输入；经过1×1的卷积层进行压缩通道，再经过空洞卷积层后被修正线性单元函数激活；最后在网络末端使用1×1卷积层对提取到的三个特征进行融合；网络最终生成的特征能够非常密集的覆盖多个尺度范围；通过快捷连接的方式，使得网络学习的是一种残差映射。