[发明专利]多模态图像的分割模型训练方法、图像处理方法及装置

权利要求书

1.一种用于多模态图像的分割模型的训练方法，包括：

利用第一模态的训练图像集训练第一分割模型，其中，所述第一模态的训练图像集是对多个参考对象在第一模态下进行采集得到的图像的集合，所述第一模态的训练图像集中的每个训练图像具有第一数量的已标注类别；

基于使用所训练的第一分割模型对第二模态的训练图像集进行处理得到的结果，利用第二模态的训练图像集训练第二分割模型，其中，所述第二模态的训练图像集是对多个参考对象在第二模态下进行采集得到的图像的集合，所述第二模态的训练图像集中的每个训练图像具有第二数量的已标注类别，并且所述第二数量小于所述第一数量；

其中，所述基于使用所训练的第一分割模型对第二模态的训练图像集进行处理得到的结果，利用第二模态的训练图像集训练第二分割模型包括：

利用所训练的第一分割模型对所述第二模态的训练图像集中的每个训练图像进行处理以得到第一语义特征；

利用第二分割模型对所述第二模态的训练图像集中的每个训练图像进行处理以得到第二语义特征；以及

训练第二分割模型，将所述第一语义特征和所述第二语义特征对齐。

2.根据权利要求1所述的训练方法，其中，所述利用第一模态的训练图像集训练第一分割模型包括：

对于所述第一模态的训练图像集中的每个训练图像，

利用所述第一分割模型对所述训练图像中的每个类别生成预测标签；以及

通过利用所述训练图像的第一数量的已标注类别中的每个类别的已标注标签对所述预测标签进行监督，来对所述第一分割模型进行有监督训练。

3.根据权利要求2所述的训练方法，其中，所述训练第二分割模型将所述第一语义特征和所述第二语义特征对齐包括：

利用第一判别器对所述第二分割模型进行对抗训练，将所述第一语义特征和所述第二语义特征对齐。

4.根据权利要求2所述的训练方法，其中，所述基于使用所训练的第一分割模型对第二模态的训练图像集进行处理得到的结果，利用第二模态的训练图像集训练第二分割模型还包括：

利用所训练的第一分割模型根据所述第一语义特征生成第一空间结构信息；

利用第二分割模型根据所述第二语义特征生成第二空间结构信息；以及

训练第二分割模型，将所述第一空间结构信息和所述第二空间结构信息对齐。

5.根据权利要求4所述的训练方法，其中，所述训练第二分割模型将所述第一空间结构信息和所述第二空间结构信息对齐包括：

利用第二判别器对所述第二分割模型进行对抗训练，将所述第一空间结构信息和所述第二空间结构信息对齐。

6.根据权利要求1所述的训练方法，其中，所述利用第二模态的训练图像集训练第二分割模型包括：

对于所述第二模态的训练图像集中的每个训练图像，

利用所述第二分割模型对所述训练图像中的每个类别生成预测标签；以及

通过利用所述训练图像的第二数量的已标注类别中的每个类别的已标注标签对所述预测标签进行监督，来对所述第二分割模型进行有监督训练。

7.根据权利要求1-6中任一项所述的训练方法，其中，所述第一分割模型和所述第二分割模型中的每一个是卷积神经网络，

所述第一模态的训练图像集和所述第二模态的训练图像集中的训练图像是医学图像，

所述第一模态的训练图像集是磁共振成像训练图像集；

所述第二模态的训练图像集是计算机断层成像训练图像集。