[发明专利]基于双分支注意力深度学习的癌症高光谱图像分割方法及系统

说明书

本发明公开了一种基于双分支注意力深度学习的癌症高光谱图像分割方法，所述方法首先对癌症高光谱图像进行预处理操作，并将数据集划分为训练集和测试集；然后构建一个双分支的基于注意力机制的深度卷积神经网络，通过划分出的训练集对网络进行训练；然后利用训练好的神经网络对测试集进行测试，最终达到分割癌症高光谱图像的目的。本发明依据癌症高光谱图像的特点，构建双分支结构，分别提取高光谱图像的空间信息和光谱信息并加以融合，最终得到预测结果。本发明还公开了一种基于双分支注意力深度学习的癌症高光谱图像分割系统。

技术领域

本发明涉及高光谱图像处理、医学影像处理技术领域，尤其涉及一种基于双分支注意力深度学习的癌症高光谱图像分割方法及系统。

背景技术

癌是指起源于上皮组织的恶性肿瘤，是恶性肿瘤中最常见的一类。大多数种类的癌症早期缺乏典型的临床表现及诊断方法，当患者出现典型症状时，基本已进入中晚期，失去根治性手术机会。癌症的诊断方法有许多种，主要有临床诊断、理化诊断、手术诊断、细胞病理学诊断、组织病理学诊断五种。组织病理学诊断可了解肿块良、恶性质，判断癌肿预后好坏，对进行癌症分类、分级、分期及命名提供直接帮助，为临床治疗提供依据。因此组织病理学诊断对癌症病人来说，是最重要的诊断内容。组织病理学诊断通过活检获取患者体内的病变组织，然后将病变组织制成病理切片，用显微镜进一步检查病变。

高光谱图像在记录空间信息的同时也记录了丰富的光谱信息。高光谱图像具有数据量大、光谱数量多且连续等特点，因此高光谱图像也有较多的光谱信息冗余。

显微高光谱成像仪，是基于显微镜平台，结合高光谱成像仪的高光谱分析系统，适用于生物医学领域的显微高光谱成像。使用显微高光谱成像仪可以采集到组织切片的显微高光谱图像。

癌症高光谱图像的分割任务是指通过算法将图像细分为患癌区域和无癌区域两个子区域。医生可以通过分割结果获取病变信息，进而做出相应的诊断。

现有的高光谱图像处理方法虽然能够实现高光谱图像的分割，但是在处理流程中仍然存在三方面的不足：一是现有方法在高光谱特征提取时，不能在多尺度上提取高光谱图像的空间注意力信息和通道注意力信息。常用的注意力机制往往只对单一尺度上的特征进行提取操作，而对于具有不同尺度特征的高光谱图像没有相应的策略。二是现有网络结构不能提取较大空间尺度上的图像特征。现有网络的设计往往针对空间特征尺度较小的高光谱遥感图像，将图像块作为网络的输入。然而癌症高光谱图像由于组织或细胞的结构、形态等因素，具有较大尺度的形态学特征，因此将图像块作为网络输入的方法不适用。三是在使用传统机器学习方法的情况下，处理流程往往不是端到端的模型，造成结果准确率损失，且处理步骤繁杂。SVM是常用的机器学习方法，然而在处理高光谱图像时，往往首先需要通过PCA方法对数据进行降维操作，但由于该模型并非端到端的结构，PCA的降维策略和分割高光谱图像的目标有差异，因此在降维过程中可能丢失了一部分有助于分割的重要信息，无法使整个模型达到最优。这三个不足会导致在实际高光谱图像分割问题中出现鲁棒性较差和效率较低的问题。

发明内容

本发明提供了一种基于双分支注意力深度学习的癌症高光谱图像分割方法，本发明将高光谱图像的空间信息和光谱信息进行深度融合，对癌症高光谱图像进行分割，最终将图像划分为患癌区域和无癌区域两部分，主要包括以下步骤：

步骤1：获取癌症病理组织切片，在高光谱显微镜下完成高光谱图像采集；记所述高光谱图像的维度为R^H×W×C；其中，H、W、C分别表示高光谱图像的高、宽和通道数；

步骤2：将高光谱图像数据集划分为训练集和测试集，并将所述训练集高光谱图像进行标注，划分为患癌区域和无癌区域；

步骤3：将所述高光谱图像进行去噪处理，并完成归一化操作；

步骤4：根据去噪及归一化后的高光谱图像，构建基于双分支注意力机制的深度卷积神经网络；所述神经网络包括下采样阶段和上采样阶段；其中，