[发明专利]一种基于视角转换的双角度光场高分辨重构系统及方法

说明书

本发明公开了一种基于视角转换的双角度光场高分辨重构系统及方法。系统包括：依次连接的光场图像重构模块和双视角融合高分辨率模块；所述光场图像重构模块，用于将光场图像重构采用深度卷积神经网络重建为三维图像；所述双视角融合高分辨率模块，用于将第一、第二视角三维图像融合为多通道三维图像信息并经高分辨率重建为高分辨率各向同性三维图像。方法应用所述基于视角转换的双角度光场高分辨重构系统。本发明基于深度学习的双视角光场高分辨重构方法，可重建出每个视角的物方三维分布，通过图像特征提取和融合形成多通道三位图像，尽可能的保留成像细节，且能够达到近乎各向同性的分辨率。

技术领域

本发明属于生物光子显微成像领域，更具体地，涉及一种基于视角转换的双角度光场高分辨重构系统及方法。

背景技术

双向倒置平面照明显微镜通过加入另一探测光路获取三维样本的空间分布，收集正交视角的荧光信号。然后对采集图像进行融合以及迭代反卷积，提高轴向分辨率，从而达到分辨率增强的目的，实现各向同性的三维成像。

然而目前的双角度光场成像，所采用的三维图像重构方法，基于迭代式多视角反卷积，算法时间复杂度较大影响实际成像应用，并且其轴向分辨率仍有待提升空间，无法到达较理想的各向同性分辨率，更重要的是在密集信号的恢复重建上仍有较大限制。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于视角转换的双角度光场高分辨重构系统及方法，其目的在于，通过将样本由两路正交的探测光路获取的双视角光场图像，通过势角变换及三位图像特征融合形成的多通道三维图像信息，用于高分辨率重建，获得各向同性的分辨率的同时，保留更多细节，密集信号恢复能力强，由此解决现有的双视角光场重建方法图像细节丢失角度，密集信号的恢复重建上仍有较大限制的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于视角转换的双角度光场高分辨重构系统，其包括：依次连接的光场图像重构模块和双视角融合高分辨率模块；

所述光场图像重构模块，用于将光场图像重构采用深度卷积神经网络重建为三维图像；

所述双视角融合高分辨率模块，用于将第一、第二视角三维图像融合为多通道三维图像信息并经高分辨率重建为高分辨率各向同性三维图像。

优选地，所述基于视角转换的双角度光场高分辨重构系统，其包括三维空间变换网络层、多融合网络层、以及高分辨率重建网络层；

所述三维空间变换网络层用于将第二视角的三维图像经过三维变换为获得与第一视角同向的视角变换三维图像；

所述多融合网络层用于将第一视角三维图像和第二视角的变换三维图像通过通道拓展融合为多通道三维图像；

所述高分辨率重建网络层，用于将所述多通道三维图像进行高分辨率三维重建，获得各向同性的高分辨率三维图像。

优选地，所述基于视角转换的双角度光场高分辨重构系统，其所述三维空间变换网络层通过卷积提取所述第二视角的三维图像的特征，进行三维空间仿射变换后通过逐元素相乘，获得所述与第一视角同向的视角变化三维图像。

优选地，所述基于视角转换的双角度光场高分辨重构系统，其所述高分辨率重建网络层采用多尺度残差块的深度卷积神经网络进行高分辨三维图像重建。

按照本发明的另一个方面，提供了所述的基于视角转换的双角度光场高分辨重构系统的训练方法，其特征在于，采用的以损失函数最小化为目标，对所述基于视角转换的双角度光场高分辨重构系统进行训练；可分别对光场图像重构模块和双视角融合高分辨率模块进行训练或对所述基于视角转换的双角度光场高分辨重构系统进行端到端的训练。

优选地，所述基于视角转换的双角度光场高分辨重构系统的训练方法，其所述对光场图像重构模块和双视角融合高分辨率模块进行训练，具体包括以下步骤：