[发明专利]一种基于Transformer的角膜神经图像分割方法及系统

权利要求书

1.一种基于Transformer的角膜神经图像分割方法，其特征在于，所述方法包括：结合CNN的局部特征提取和Transformer的全局特征提取，并基于ResUnet框架来构建角膜神经图像分割网络，所述角膜神经图像分割网络包括多尺度形变注意力模块、外部注意力模块和深度可分离卷积模块，所述多尺度形变注意力模块和外部注意力模块组成新的交叉注意力模块。

2.根据权利要求1所述的一种基于Transformer的角膜神经图像分割方法，其特征在于：所述形变注意力模块的每个head单独刻画queries与keys之间的注意力加权，然后通过权重线性加权获得最终的输出。

3.根据权利要求2所述的一种基于Transformer的角膜神经图像分割方法，其特征在于：所述形变注意力模块的计算公式为：

其中，W′_mx_k是对key元素的编码，A_mqk是第k个key元素的权重，总共有|Ω_k|个key值，Z_q是query的特征向量。

4.根据权利要求3所述的一种基于Transformer的角膜神经图像分割方法，其特征在于：计算所述形变注意力的公式为：

其中，m是注意力头的索引，k是样本Key值的索引，K是样本的总个数，ΔP_mqk and A_mqk分别表示样本的偏移和第k个样本中第m个头的注意力权重，A_mqk的值范围是[0，1]之间，归一化后

5.根据权利要求1所述的一种基于Transformer的角膜神经图像分割方法，其特征在于：所述外部注意力模块的计算公式为：

其中，M_k和M_v是两个记忆力单元，F表示输入的特征图。

6.根据权利要求1所述的一种基于Transformer的角膜神经图像分割方法，其特征在于：所述深度可分离卷积模块采用在两个1*1卷积之间加入DW卷积模块，在各个通道进行卷积操作。

7.根据权利要求1所述的一种基于Transformer的角膜神经图像分割方法，其特征在于：所述方法还包括用于缩小基于中心线的标签与真实的角膜神经粗细的标签约束。

8.根据权利要求7所述的一种基于Transformer的角膜神经图像分割方法，其特征在于：所述标签约束采用由粗到细的训练策略，所述训练策略具体将模型第一次的输出第一预测结果再次作为输入重复输入到同一个模型中得到第二预测结果，用3*3像素标签约束第一预测结果，得到第一约束损失，用2*2像素标签约束第二预测结果得到第二约束损失，最后用由第一约束损失和第二约束损失按照6∶4比例得到总的约束损失loss。

9.一种基于Transformer的角膜神经图像分割系统，其特征在于，所述系统包括：角膜神经图像分割网络，所述角膜神经图像分割网络是结合CNN的局部特征提取和Transformer的全局特征提取，并基于ResUnet框架来构建而成，所述角膜神经图像分割网络包括多尺度形变注意力模块、外部注意力模块和深度可分离卷积模块，所述多尺度形变注意力模块和外部注意力模块组成新的交叉注意力模块。

10.根据权利要求9所述的一种基于Transformer的角膜神经图像分割系统，其特征在于：所述系统还包括训练策略模块，用于将模型第一次的输出第一预测结果再次作为输入重复输入到同一个模型中得到第二预测结果，用3*3像素标签约束第一预测结果，得到第一约束损失，用2*2像素标签约束第二预测结果得到第二约束损失，最后用由第一约束损失和第二约束损失按照6∶4比例得到总的约束损失。