[发明专利]一种基于EUS的粘膜下肿瘤细粒度分类方法

说明书

本发明涉及一种基于EUS的粘膜下肿瘤细粒度分类方法，其特征在于，包括以下步骤：建立多尺度的关系注意力网络；分两个阶段对关系注意力网络进行训练；将实时获得的EUS图像输入训练后的关系注意力网络，由关系注意力网络输出对应的类别标签。与现有技术相比，本发明能够有效提升基于EUS的粘膜下肿瘤的识别准确率，并有效减少了EUS识别过程中对目标级数据标签的依赖，能够有效对EUS图像中的粘膜下肿瘤区域进行识别。

技术领域

本发明涉及一种面向粘膜下肿瘤在线检测的视觉系统校准方法，属于实例细粒度图像分类技术领域。

背景技术

消化道粘膜下病变(SMTs)是指来源于消化道粘膜层以下各层次的病变，常见的消化道SMTs共有5种，包含胃肠道间质瘤、异位胰腺、脂肪瘤、平滑肌瘤、神经内分泌肿瘤。因它们在内镜下都表现为粘膜正常的隆起性病变，普通的内镜检查技术无法判断它的来源层次及性质。因此，在利用白光内镜找到粘膜正常的隆起性病变后，需要结合其他成像手段来进一步判断肿瘤的类别。

其中，EUS便是目前评估消化道SMT最准确的影像学方法之一。在EUS的成像过程中，换能器通过发送短脉冲，超声能量进入组织并接收组织反射信号形成组织的超声图像，从而帮助医生进一步判断粘膜下肿瘤的性质。然而，EUS的图像内容复杂多变，通常呈现出1-5层环状层次结构，并在肿瘤区域表现为对层次结构的破坏，临床医生通常依靠观察感兴趣区域内病变的起源层次及其在超声内镜表现(如形状、高低回声、回声模式等)来做出诊断。

随着科技的不断进步，计算机技术与医疗的联系越来越来紧密，而将计算机视觉应用到医疗领域的例子也越来越多，云阅片和机器人无接触送药等事实也证明这些技术确实提供了非常大的助力。而在医疗过程中，基于EUS的SMTs人工诊断具有陡峭的学习曲线，人工读图需要多年的学习实践并凝聚成经验知识。通过计算机辅助临床医生进行诊断，能够减小EUS的学习成本，提升临床医生的工作效率，因此具有重要的研究意义。

但是，基于EUS的SMTs识别共存在以下几大挑战。首先，由于超声成像操作难度高、成像不稳定，导致EUS图像通常伴有大量的斑点噪声，部分时候还伴有伪像。这种高噪声、强干扰的图像特点给有效信息的提取带来了巨大的挑战。其次，EUS图像能够反映胃肠道壁的层次结构信息，而这些信息被用来判断病变的起源层次，从而进一步为病变定性。然而，EUS成像经常会出现层次密集、界限不清的情况，且其层次结构形状不规则变化，这种现象非显著，高变化的层次特点进一步增加了层次起源信息提取的难度。最后，EUS图像具有十分复杂的语义关系，包含病变区域肿瘤形状、回声模式以及肿瘤起源层次等多种语义，而这些语义及它们之间存在的耦合关系，对于判断肿瘤的类别起着不同程度的重要作用，但也进一步增加了基于视觉SMTs识别的难度。

发明内容

本发明的目的是：实现仅在图像级标签的基础上对SMTs进行分类。

为了达到上述目的，本发明的技术方案是提供了一种基于EUS的粘膜下肿瘤细粒度分类方法，其特征在于，包括以下步骤：

步骤1、建立多尺度的关系注意力网络，该关系注意力网络包括基于卷积神经网络结构实现的编码器以及关系注意力模块，由编码器提取输入的EUS图像多个尺度特征，由关系注意力模块获得特征的注意力图，并将注意力图与编码器提取的特征进行逐元素相乘，以增强空间域中的感兴趣区域，抑制无关区域，基于感兴趣区域输出类别标签，类别为预先定义的不同肿瘤类别；

步骤2、分两阶段对模型进行训练，采用基于图像修复的自监督学习预训练方法来训练肿瘤分类的特征提取器，并在下游加入多尺度特征关系注意力网络进一步训练模型直至收敛，具体包括以下步骤：

步骤201、获得不同类别的EUS图像样本；

步骤202、将步骤201得到的不同类别的EUS图像样本组成一个EUS图像训练样本集；