[发明专利]一种基于Transformer的角膜神经图像分割方法及系统

说明书

本发明公开了一种基于Transformer的角膜神经图像分割方法及系统。所述方法包括结合CNN的局部特征提取和Transformer的全局特征提取，并基于ResUnet框架来构建角膜神经图像分割网络，角膜神经图像分割网络包括多尺度形变注意力模块、外部注意力模块和深度可分离卷积模块，多尺度形变注意力模块和外部注意力模块组成新的交叉注意力模块。本发明采用CNN和Transformer优势相结合，更加全面的提取角膜神经特征，解决了角膜神经图像分割中存在的断裂、噪声细胞干扰的问题。

技术领域

本发明属于图像分割的处理技术领域，具体涉及一种基于Transformer的角膜神经图像分 割方法及系统。

背景技术

近年来，医学影像技术的飞速发展，给临床医学领域带来了一场革命。医学图像通常为 临床医生提供大量有关生物或解剖组织的信息；例如，角膜中的神经纤维的形态学变化与多 种系统性疾病及眼部疾病(干眼病、角膜神经病变、结膜炎等)密切相关。其中，通过对角 膜神经图像的特征进行提取，从而有利于进一步辅助疾病诊断，这对准确诊断和治疗起着至 关重要的作用。然而，无论使用相同还是不同的设备，医学图像往往表现出很大的质量差异 ——表现出诸如强度不均匀性、低对比度、明显的模糊或噪声等缺陷，所有这些都可能在图 像采集过程中发生，如图1中展示了几张低质量角膜神经图像。角膜神经图像低质量的这些障 碍也直接影响了角膜神经的特征提取，进一步影响了许多后续图像分析任务的性能，如相关 疾病诊断等。因此，全自动、可靠的角膜神经图像分割技术对临床诊断和智能医疗诊断都是 十分重要的。

在此之前，已经有一些传统的图像分割方法被提出来。早期的角膜神经分割方法采用人 工制作的特征来测量像素的管状度，并在无监督的设置下检测线状结构，如基于邻域差分的 线性算子、基于Hessian矩阵特征值的Frangi滤波、利用梯度投影沿不同轴线的通量(OOF)及其 在局部球面区域边界的测量等方法。

尽管传统方法取得一定成果，但仍然存在分割速度慢、精确度不高等问题。近年来，以 卷积神经网络(CNN)为代表的深度学习模型在医学图像分割领域陆续开展，并取得了巨大进 步和发展。典型的代表有Unet网络架构。

卷积神经网络(CNN)基于卷积核提取特征，因此对于局部特征提取能力比较强，然而 对于全局上下文的依赖关系的建模能力有限。另外，Transformer在自然语言处理(NLP)领 域不断发展并延伸到计算机视觉领域，因其强大的全局上下文特征提取能力，Transformer在 计算机视觉(CV)领域大放异彩。

如何提供一种角膜神经图像分割方案，来解决角膜神经图像分割中存在的断裂、噪声细 胞干扰的问题。

发明内容

本发明的主要目的在于提供一种基于Transformer的角膜神经图像分割方法及系统，从而 克服现有技术的不足。

为实现前述发明目的，本发明采用的技术方案包括：一种基于Transformer的角膜神经图 像分割方法，包括结合CNN的局部特征提取和Transformer的全局特征提取，并基于ResUnet 框架来构建角膜神经图像分割网络，所述角膜神经图像分割网络包括多尺度形变注意力模块、 外部注意力模块和深度可分离卷积模块，所述多尺度形变注意力模块和外部注意力模块组成 新的交叉注意力模块。

在一优选实施例中，所述形变注意力模块的每个head单独刻画queries与keys之间的注意力 加权，然后通过权重线性加权获得最终的输出。

在一优选实施例中，所述形变注意力模块的计算公式为：

其中，W′_mx_k是对key元素的编码，A_mqk是第k个key元素的权重，总共有|Ω_k|个key值，Z_q是query的特征向量。