[发明专利]一种基于深度学习的多模态扩散光学层析成像重建方法

权利要求书

1.一种基于深度学习的多模态扩散光学层析成像重建方法，其特征在于：构建Z-Net神经网络将光学信号与核磁共振图像同时作为网络输入，通过网络训练直接建立光学信号与光学特性参数之间的非线性关系，实现光学信号到光学特性参数的端到端重建，而无需构建描述光子在生物组织内传输规律的数学模型，也不需要对核磁共振图像进行图像分割处理；

所述的Z-Net神经网络具体包括：

步骤1、光学信号作为网络的第一个输入，通过下采样操作映射到空间然后经过四层上采样得到光学信号的特征；

首先下采样的实现过程为：

其中为经下采样的输出，k_3×3代表大小为3×3的卷积核，σ(·)代表批归一化BN和线性整流ReLU操作，P为池化操作，*代表卷积操作,L代表双采样线性插值操作，用来改变输出尺寸，该步操作可接受不同尺寸的光学信号作为输入；

每层上采样操作包括反卷积操作和卷积操作，以及BN和ReLU处理，其中，每层上采样的输出为：

其中作为每个上采样层的输入，为反卷积操作，k_2×2为大小为2×2的卷积核；

步骤2、核磁共振图像m作为网络的第二个输入，先通过卷积操作改变通道数，然后进行四层下采样，最终获取核磁共振图像的结构信息；

首先卷积操作实现过程为：

ψ⁰＝σ(σ(m*k_1×1)*k_1×1) (3)

其中ψ⁰为采样操作的输出，此操作中k_1×1为1×1大小卷积核，该步骤用于改变通道数大小；

每层下采样包括两步卷积操作和最大池化操作，以及BN和ReLU处理，其中，每层下采样的输出为：

ψⁿ＝P_max(σ(σ(ψ^n-1*k_3×3)*k_3×3)) n＝1，2，3，4 (4)

其中ψ^n-1为每层下采样操作的输入，P_max为最大池化(maxpooling)操作；

步骤3、经步骤1得到的光学信号的特征与步骤2得到的结构特征用跳连接结合进行融合后，进行上采样操作，最终输出光学特性参数图像，并且要保证融合的特征之间具有相同结构；其中和ψ⁴的融合为：

其中φ⁰为该层网络输出的特征值，为concatenation操作，然后将具有相同结构的特征值采取相似融合操作，每个融合层输出为：

最终将经过四层融合后的输出φ⁴进行卷积采样操作，用于改变通道数，网络最终输出光学特性参数图像

2.根据权利要求1所述的一种基于深度学习的多模态扩散光学层析成像重建方法，其特征在于：网络训练采用Adam优化器以及MSE损失函数来不断更新网络权重及偏置，直至模型误差满足要求或达到其他训练停止条件时停止训练。