[发明专利]内窥镜仪器分割方法、装置、计算机设备及存储介质

说明书

本发明公开内窥镜仪器分割方法、装置、计算机设备及存储介质，方法包括：将内窥镜样本图像X输入第一网络，获得第一网络的初步全局特征图F₁，将多个注意力特征图分别与所述内窥镜样本图像X相乘得到多个中间特征图，再将所述内窥镜样本图像X与多个所述中间特征图相加取平均值，得到待处理特征图；将所述待处理特征图输入至第二网络，获得第二网络的最终全局特征图F₂，并将最终全局特征图F₂作为内窥镜仪器分割模型的最终输出结果；利用损失函数对所述内窥镜仪器分割模型进行优化，并利用优化后的内窥镜仪器分割模型对内窥镜测试图像进行识别。本发明仅需少量标注数据，提高了提取边缘特征的能力，实现精准分割的目的。

技术领域

本发明涉及图像处理技术领域，特别涉及内窥镜仪器分割方法、装置、计算机设备及存储介质。

背景技术

在诸多癌症中，大肠癌是全球发病率第三和死亡率第二高的癌症，成为威胁人类生命安全的主要杀手之一。调查结果进一步表明，结直肠炎症、血管病变、息肉等大肠疾病是大肠癌早期的常见病症。因此，上述疾病的早期筛查对大肠癌的预防至关重要。在临床工作中，由于微创手术具有创伤小、疼痛轻、恢复速度快的优点，被广泛应用于肠胃疾病的筛查治疗。

微创手术依赖于内窥镜仪器的辅助，有利于医生直观地观察病灶的形态特征，被认为是大肠疾病筛查的金标准。大量临床观察发现，受拍摄角度、内窥镜医师经验和复杂的人体组织影响，内窥镜仪器容易遮挡病变区域，造成疾病的误诊漏诊等情况。采用内窥镜仪器分割技术将仪器分割可为研究人员提供必要的区域信息，以便后续疾病诊断、数据分析等工作的开展。比如，将分割出的仪器移除并结合图像修复技术将相应区域重塑，进而辅助临床医师进行数据分析工作。未来还可应用于手术机器人的信息反馈系统，进行仪器的追踪和姿态估计等。因此，确定仪器位置并分割具有重要的临床意义。

目前针对大肠内窥镜仪器分割的研究很少，现有的医学图像分割技术大多在自然场景的分割方法的基础上进行改进。例如，Long等人提出可适应任意尺寸输入的全卷积神经网络(Fully Convolutional Networks,FCN)，在网络中设计反卷积操作，基于像素级的分类实现对图像的分割。Ronneberger等人从encoder-decoder框架入手，通过跳跃连接的方式将原始图像和上采样的特征图拼接，并将拼接后的特征图作为下一个上采样的特征，提出了适用于医学图像分割的U-Net网络。Xue等人将生成对抗网络(GenerativeAdversarial Networks,GAN)引入医学图像分割领域，首先利用生成器生成分割图，再应用判别器判断分割标签的真伪，通过迭代优化实现精准的分割任务。但这些深度学习网络依赖大量的有标注数据，不适用于标注困难的医学图像。

近几年，有研究学者提出将图像分割技术应用于手术机器人的实时仪器追踪定位系统，比如，Shvets等人将LinkNet和TernausNet模型分别修改为LinkNet-34和TernausNet-16用于仪器分割，其中TernausNet-16的的准确率更高。Islam等人提出了一种多分辨率特征融合模块的实时仪器分割模型，将主分支给出的两张高分辨率和低分辨率特征图进行融合。实验表明，该多分辨率方法的性能优于PSPNet和ICNet等通用语义分割模型。但这些仪器分割技术应用场景更偏向于手术机器人对仪器的智能定位，大肠疾病筛查并未涉及，且不能解决标注样本数据不足的问题。鉴于此，基于半监督学习的网络模型(如Mean-teachers算法)受到越来越多的欢迎，可有效地应对数据样本不足的问题且力争获得较好的分割性能。但由于此类模型对数据加噪，图像信息容易遭到破坏，不利于医学图像中目标区域精细的边缘特征提取。

发明内容

本发明的目的是提供内窥镜仪器分割方法、装置、计算机设备及存储介质，旨在解决现有分割方法要求高、准确性有待提高的问题。

第一方面，本发明实施例提供一种内窥镜仪器分割方法，其中，包括：