[发明专利]自动勾画模型的多模态迁移方法

说明书

本发明公开了一种自动勾画模型的多模态迁移方法，包括：采集一批病人的多模态数据，并挑选其中少部分样本在其中的一个模态M1上进行临床靶区或危及器官的勾画。对采集到的数据，将各模态与第一模态M1进行配准对齐，然后预处理成两批训练集，第一批训练集包括所采集的全部样本的所有模态影像，输入为其他模态的影像数据，金标为对齐的M1影像数据，用于训练一个多模态重构网络。第二批训练集是挑选的少部分样本，输入为所有模态的影像数据，金标为对应的临床靶区或危及器官的二值图像，用于对重构网络进行图像分割的迁移训练。借此，本发明只需要在一个模态的影像数据上进行金标准的勾画，即可让训练的自动勾画模型适应多个模态的影像数据。

技术领域

本发明是关于图像处理领域、深度学习领域和医疗领域，特别是关于一种自动勾画模型的多模态迁移方法。

背景技术

当前自动勾画模型已经在放疗中获得了广泛应用且得到临床医生的认可，但是临床中不同诊疗阶段医生要用的影像数据可能是不同模态的。由于不同模态的医学影像成像原理不同，其所提供的关于人体解剖或组织的信息不同，所呈现的特征和纹理差异较大，基于某一个模态训练的自动分割模型难以直接应用到其他模态数据上。针对这个问题，已有解决方案包括，一是采集大量各个模态的数据并进行人工标注，然后针对每一个模态数据都训练一个自动勾画模型；二是基于配准的方法，即只训练一个针对特定模态影像的自动勾画模型，然后将特定模态影像与目标模态影像进行配准，这样在特定模态影像上得到的勾画结果可直接转移到目标模态影像上。三是基于生成对抗网络GAN的原理，在对某一模态数据训练自动勾画模型时，加入其它模态的数据，利用判别器判别从自动勾画模型生成的特征或勾画结果是来自原模态还是其它模态，如此交互训练的方式，可以让自动勾画模型在仅有原模态金标的情况下，也可以对其他模态数据进行勾画，但是GAN网络的训练过程极不稳定，且难以收敛到最优点，导致自动勾画模型迁移到其他模态时分割精度不够。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种自动勾画模型的多模态迁移方法，只需要在一个模态的影像数据上进行勾画，即可完成多模态影像勾画模型的训练，且可以在极少量标注数据的情况下，训练出精度较高的自动勾画模型。

为实现上述目的，本发明提供了一种自动勾画模型的多模态迁移方法，包括：采集一批病人的多模态数据，并挑选其中少部分样本在其中的一个模态M1上进行临床靶区或危及器官的勾画。对采集到的数据，将每个病例的其他模态与第一模态M1进行配准对齐，然后预处理成两批训练集，第一批训练集包括所采集的全部样本的所有模态影像，输入为其他模态的影像数据，金标为对齐的M1影像数据，第二批训练集是挑选的少部分样本，输入为所有模态的影像数据，金标为对应的临床靶区或危及器官的二值图像。利用第一批训练数据，训练一个多模态重构网络，将输入的多模态影像映射到第一模态M1，让多模态重构网络学习到各个模态独有的特征以及模态间共有的特征。利用第二批训练数据，对训练好的多模态重构网络进行迁移学习，进行自动勾画任务的训练，输入各模态影像数据，输出多通道的概率图，通道数为应临床靶区的类别数加1或为要勾画的危及器官数目加1。

在本发明的一实施方式中，临床靶区为GTV/CTV/PTV。

在本发明的一实施方式中，采集一批多模态数据，并挑选其中少部分样本在其中的一个模态M1上进行临床靶区或危及器官的勾画包括：采集一批病人的所有临床影像数据，包括CT、CBCT、MRI、PET，并挑选其中20％的样本，在这些数据的其中一个模态影像M1上进行金标准的勾画，勾画的区域可以是GTV/CTV/PTV等临床靶区，也可以是脑干、颞叶、眼球、晶状体等危及器官。