[发明专利]内窥镜图像特征学习模型、分类模型的训练方法和装置

说明书

一种内窥镜图像特征学习模型、分类模型的训练方法和装置。所述方法包括：获取第一训练数据集，所述第一训练数据集包括一个或多个具有待识别对象的内窥镜图像和一个或多个不具有待识别对象的内窥镜图像；将所述第一训练数据集输入到所述内窥镜图像特征学习模型；以及基于所述第一训练数据集对所述内窥镜图像特征学习模型进行无监督的对比学习，以获得训练完成的内窥镜图像特征学习模型，其中，所述内窥镜图像特征学习模型包括多个对比学习子模块，所述多个对比学习子模块的每一个用于提取所述第一训练数据集中的同一内窥镜图像的不同尺度的特征表示，并基于所提取的不同尺度的特征表示进行对比学习。

技术领域

本申请涉及人工智能领域，具体涉及一种基于对比学习的内窥镜图像特征学习模型的训练方法、内窥镜图像分类模型的训练方法、内窥镜图像分类方法、装置及计算机可读介质。

背景技术

大多数结直肠癌开始于结直肠内膜表面的赘生物，称为息肉，而有些息肉可以发展为癌症。因此，早期诊断成为直肠癌防治关键一环。肠镜检查是预防和诊断肠道癌症的首选检查方法，部分消化道早期癌内镜下微创治疗可达到治愈性切除的目的。结肠镜是利用电子肠镜经肛门，经过直肠、乙状结肠，到达回盲部，从黏膜侧观察结肠病变（如炎症、肿瘤等）的过程。回盲部是回肠末端与盲肠互相交接的部位，称回盲部，回盲部是肠管的炎症（如周围炎、憩室炎等）、肿瘤、套叠等疾病的好发部位，而盲肠与阑尾又是回盲部的主要器官。因此在内镜检查过程中，对回盲部的识别至关重要。

为了减轻医生的负担，有一些工作尝试研究使用深度学习的方式自动化地实现对回盲部的识别。然而这些工作仅使用了简单的卷积神经网络，且都是基于全监督的方法，即需要大量标注数据。而现有的内镜影像的标注数据集主要集中于息肉等病变标注，很少有关于回盲部的标注，而单独为这一任务进行大量回盲部的标注是费时费力的。

现有的对回盲部进行识别的研究工作基本基于全监督的卷积神经网络。它们通常使用一个现成的卷积神经网络，如ResNet、VGG、Inceptionv3等。少数工作在这些现成的模型上稍加修改，如使用预训练的模型微调。然而，它们使用的预训练模型通常是基于现成的在自然图像上预训练好的结果，由于医学图像和自然图像的差异，这类预训练模型无法很好的学习到内镜影像的特征。

近年来，使用基于对比学习的自监督学习来进行预训练的工作取得了巨大的发展。对比学习着重于学习同类实例之间的共同特征，区分非同类实例之间的不同之处。它不需要关注实例上繁琐的细节，只需要在抽象语义级别的特征空间上学会对数据的区分即可，因此模型以及其优化变得更加简单，且泛化能力更强。对比损失可以最大化正样本之间的互信息并最小化负样本之间的互信息。最近，对比学习的思想已经被应用于医学领域。然而，这类方法仅在图像级别进行对比学习的学习，而没有学习到不同尺度下不同级别的特征。

因此，期望一种改进的内窥镜图像特征学习模型的训练方法，在标注数据有限的情况下，能够在大量无标注的数据上更好的学习到影像本身的抽象语义级别的特征。

发明内容

考虑到以上问题而做出了本公开。本公开的一个目的是提供一种基于对比学习的内窥镜图像特征学习模型的训练方法、内窥镜图像分类模型的训练方法、内窥镜图像分类方法、装置及计算机可读介质。

本公开的实施例提供了一种基于多尺度对比学习的内窥镜图像特征学习模型的训练方法，所述方法包括：获取第一训练数据集，所述第一训练数据集包括一个或多个具有待识别对象的内窥镜图像和一个或多个不具有待识别对象的内窥镜图像；将所述第一训练数据集输入到所述内窥镜图像特征学习模型；以及基于所述第一训练数据集对所述内窥镜图像特征学习模型进行无监督的对比学习，以获得训练完成的内窥镜图像特征学习模型，其中，所述内窥镜图像特征学习模型包括多个对比学习子模块，所述多个对比学习子模块的每一个用于提取所述第一训练数据集中的同一内窥镜图像的不同尺度的特征表示，并基于所提取的不同尺度的特征表示进行对比学习。