[发明专利]基于双分支注意力深度学习的癌症高光谱图像分割方法及系统

权利要求书

1.一种基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，包括以下步骤：

步骤1：获取癌症病理组织切片，在高光谱显微镜下完成高光谱图像采集；记所述高光谱图像的维度为R^H×W×C；其中，H、W、C分别表示高光谱图像的高、宽和通道数；

步骤2：将高光谱图像数据集划分为训练集和测试集，并将所述训练集高光谱图像进行标注，划分为患癌区域和无癌区域；

步骤3：将所述高光谱图像进行去噪处理，并完成归一化操作；

步骤4：根据去噪及归一化后的高光谱图像，构建基于双分支注意力机制的深度卷积神经网络；所述神经网络包括下采样阶段和上采样阶段；其中，

在下采样阶段利用空间-通道注意力模块提取所述高光谱图像数据的空间信息和光谱信息特征；在上采样阶段利用卷积层提取特征；

所述神经网络对高光谱图像先下采样，后上采样的过程中进行多次特征提取操作，每次提取不同空间尺度下的特征信息，并将上采样之后的特征和对应尺度下的下采样特征进行自适应比例特征融合操作；

每次上采样之后都进行一次自适应比例特征融合操作，即：上采样特征图和下采样特征图经过1×1共享卷积层和ReLU函数，将通道数降为1，得到两个二维特征图；随后将两个二维特征图按行展开为一维向量，然后经过两层共享全连接层，得到标量α_UP和α_DN；将这两个标量经过softmax函数进行归一化处理，得到两个融合比例系数，公式如下：

其中，ρ_UP和ρ_DN分别表示上采样特征图和下采样特征图的融合系数，α_UP和α_DN为共享全连接层的输出结果；

将上采样特征图和下采样特征图和对应的融合比例系数相乘，并在通道维度上完成通道拼接操作，公式如下：

comb＝[ρ_UPf^UP；ρ_DNf^DN]

其中，comb表示拼接后的特征图，f_UP和f_DN分别表示上采样特征图和下采样特征图，；表示在通道维度上的特征拼接操作；

在上采样阶段最后得到的特征维度为R^H×W×C，通过1×1的卷积层和softmax函数降低通道维度，输出两个通道的预测图，即患癌和无癌两类分割结果；

步骤5：将训练集送入神经网络中，并通过学习算法，通过神经网络损失函数和优化方法进行多次循环迭代完成网络的训练；将测试集送入训练后的网络中，实现高光谱图像的分割。

2.根据权利要求1所述的基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，所述步骤3中，去噪处理为将高光谱图像通过中值滤波器进行处理，滤除椒盐噪声，公式为：

其中，g(s,t)表示叠加了噪声的单波段的子图像，(s,t)表示滤波前的一组坐标点；表示经过中值滤波器处理后的图像，(x,y)表示中值滤波器的输出坐标点，x∈[0,W-1],y∈[0,H-1]，x和y均为整数；median为二维中值滤波函数；S_xy表示中心在点(x,y)处、大小为5×5的子图像窗口的一组坐标点；当中心处于高光谱图像的边缘时该组坐标点只包含子图像窗口落在图像中的有效像素坐标点。

3.根据权利要求2所述的基于双分支注意力深度学习的癌症高光谱图像分割方法，其特征在于，所述步骤3中，经过中值滤波后，针对高光谱图像中的每个通道进行归一化处理，公式为：

其中，D为输入像素值，E为输出像素值；MinValue为该通道像素点中的最小值，MaxValue为该通道像素点中的最大值。