[发明专利]一种基于Vision Transformer的翼状胬肉病灶区域的分割方法

权利要求书

1.基于Vision Transformer的翼状胬肉病灶区域的分割方法，所述分割方法包括采集模块、语义分割网络模块和训练模块，利用数据采集模块、语义分割网络模块和训练模块对患病眼前节图像进行分割处理，其特征是，具体为以下步骤：

(1)所述的患病眼前节图像构成一组翼状胬肉分割数据集，所述翼状胬肉分割数据集作为原始数据样本，所述数据采集模块对所述的原始数据样本中的图像进行预处理操作，以保证图像的长和高相同，形成一组训练集图像；

(2)利用所述语义分割网络模块对所述训练集图像进行分割，所述语义分割网络模块包括Vision Transformer网络和卷积网络；所述Vision Transformer网络利用一种图像分块方法对所述训练集图像进行处理，通过叠加多层的多头注意力机制获得一种图像块关联关系，进而取得图像注意力图；所述卷积网络通过一种多层的卷积操作取得图像特征图；所述图像注意力图和图像特征图通过矩阵加法运算得到所述图像特征图，通过一种金字塔池化方法获得翼状胬肉分割图；

(3)利用训练模块对分割模型进行训练，将所述翼状胬肉分割数据集输入所述语义分割网络模块进行训练，训练时通过设置学习率、损失函数方法、学习迭代周期调整模型参数，最终形成翼状胬肉病灶区域分割模型；

所述的预处理操作为：

本发明方法要求的输入图像尺寸为M×N×3，M和N为正整数，原始图像尺寸为H×W，H和W为正整数，先将图像进行缩放为M×((N/H)×W)，再将较短的边两边平均补上灰边将其尺寸转换为M×N；

所述的图像分块方法为：

先通过上采样操作将M×N×3大小的图像上采样为M’×N’×3，将M’×N’×3的图像输入到Vision Transformer，将输入图片划分成(M’/Patch)×(N’/Patch)个Patch×Patch大小的图像块后，并在每个所述图像块上添加大小为1×((M’/Patch)×(N’/Patch))×(3×Patch×Patch)可训练的位置信息参数；

所述的多头注意力机制为：

以所述图像块为单位输入多头注意力机制，通过矩阵运算计算出各图像块之间的关系并生成新的((M’/Patch)×(N’/Patch))×(3×Patch×Patch)大小的图像特征，循环12-16次所述多头注意力机制；

将所述多头注意力机制中生成的图像特征经过一种变换操作获得所述图像注意力图，通过连接一个卷积核大小为3×3的卷积模块获得大小为2048×30×30图像注意力图；

所述的卷积网络为：

采用ResNet50模型在公开数据集ImageNet上预训练后获得的参数作为所述卷积网络的初始化参数，经过4层大小结构不同的卷积模块，提取出所述图像特征图；

所述的金字塔池化方法如下：

将所述图像注意力图和图像特征图通过矩阵加法运算得到新的图像特征图，输入到金字塔池化模块中，先通过卷积操作将所述图像特征图维度转换为其维度的1/4；再利用4种不同大小的池化块分别进行池化操作得到图像特征图a、图像特征图b、图像特征图c、图像特征图d；最后将所述图像特征图a、图像特征图b、图像特征图c、图像特征图d上采样后与新的图像特征图进行堆叠得到图像特征图(e)；

将所述图像特征图a、图像特征图b、图像特征图c、图像特征图d输入阶段上采样模块，通过上采样和特征融合操作获得图像特征图，并与所述图像特征图(e)进行堆叠得到全新的图像特征图(f)，最后通过对所述图像特征图(f)进行卷积操作得到语义分割图像。

2.根据权利要求1所述的分割方法，其特征是，

所述损失函数包括交叉熵损失函数和Dice Loss损失函数，将所述交叉熵损失函数和Dice Loss损失函数融合作为所述语义分割网络模型的损失函数，最小化如下目标函数：

Loss＝Cross Entropy Loss+Dice Loss

其中，Cross Entropy Loss表示交叉熵损失函数，Dice Loss表示Dice Loss损失函数。

3.根据权利要求1所述的分割方法，其特征是，

所述学习迭代周期为80个周期，为加快训练速度和防止在训练初期权值被破坏，0-40周期采用冻结训练，40-80正常训练，所述学习率为1e-5。