[发明专利]多模态图像的分割模型训练方法、图像处理方法及装置

说明书

本公开提供了一种用于多模态图像的分割模型的训练方法、图像处理方法、图像处理装置以及计算机可读存储介质。该训练方法包括：利用第一模态的训练图像集训练第一分割模型，其中，第一模态的训练图像集是对多个参考对象在第一模态下进行采集得到的图像的集合，第一模态的训练图像集中的每个训练图像具有第一数量的已标注类别；基于使用所训练的第一分割模型对第二模态的训练图像集进行处理得到的结果，利用第二模态的训练图像集训练第二分割模型，其中，第二模态的训练图像集是对多个参考对象在第二模态下进行采集得到的图像的集合，第二模态的训练图像集中的每个训练图像具有第二数量的已标注类别，并且第二数量小于第一数量。

技术领域

本公开涉及深度学习领域，并且具体的涉及一种用于多模态图像的分割模型的训练方法、图像处理方法、图像处理装置和计算机可读存储介质。

背景技术

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

在深度学习领域中，零样本学习方法(ZSL，Zero-shot Learning)是学术界重要的前沿研究分支之一。尽管大量科研相关人员已经标注了很多标准数据集，但是其类别也是有限的。例如著名的数据集ImageNet，即使包含千万级的数据，也仅能涵盖有限个类别。在现实世界中，类别是无穷的，已经标注的数据仍然只占少数，诸如疾病图像数据难以大量获取并进行标注。因此，研究模型对无标注类别进行有效的学习并进行预测是非常有意义的。现有技术中的零样本学习方法对图像分割的精度有限，并且需采用基于自然语言处理的Word2vec模型，这使得现有方法无法应用于诸如医学图像等的非自然图像的图像分割。

发明内容

为了克服现有技术中存在的缺陷，本公开提出了一种用于多模态图像的分割模型的训练方法、图像处理方法及装置和计算机可读存储介质。

根据本公开的一个方面，提供了一种用于多模态图像的分割模型的训练方法，所述训练方法包括：利用第一模态的训练图像集训练第一分割模型，其中，所述第一模态的训练图像集是对多个参考对象在第一模态下进行采集得到的图像的集合，所述第一模态的训练图像集中的每个训练图像具有第一数量的已标注类别；基于使用所训练的第一分割模型对第二模态的训练图像集进行处理得到的结果，利用第二模态的训练图像集训练第二分割模型，其中，所述第二模态的训练图像集是对多个参考对象在第二模态下进行采集得到的图像的集合，所述第二模态的训练图像集中的每个训练图像具有第二数量的已标注类别，并且所述第二数量小于所述第一数量。

根据本公开的一个示例，其中，所述利用第一模态的训练图像集训练第一分割模型包括：对于所述第一模态的训练图像集中的每个训练图像，利用所述第一分割模型对所述训练图像中的每个类别生成预测标签；以及通过利用所述训练图像的第一数量的已标注类别中的每个类别的已标注标签对所述预测标签进行监督，来对所述第一分割模型进行有监督训练。

根据本公开的一个示例，其中，所述基于使用所训练的第一分割模型对第二模态的训练图像集进行处理得到的结果，利用第二模态的训练图像集训练第二分割模型包括：利用所训练的第一分割模型对所述第二模态的训练图像集中的每个训练图像进行处理以得到第一语义特征；利用第二分割模型对所述第二模态的训练图像集中的每个训练图像进行处理以得到第二语义特征；以及训练第二分割模型，将所述第一语义特征和所述第二语义特征对齐。

根据本公开的一个示例，其中，所述训练第二分割模型将所述第一语义特征和所述第二语义特征对齐包括：利用第一判别器对所述第二分割模型进行对抗训练，将所述第一语义特征和所述第二语义特征对齐。