[发明专利]自动勾画模型的多模态迁移方法

权利要求书

1.一种自动勾画模型的多模态迁移方法，其特征在于，包括：

采集一批病人的多模态数据，并挑选其中少部分样本在其中的一个模态M1上进行临床靶区或危及器官的勾画；

对采集到的数据，将每个病例的其他模态与第一模态M1进行配准对齐，然后预处理成两批训练集，第一批训练集包括所采集的全部样本的所有模态影像，输入为其他模态的影像数据，金标为对齐的M1影像数据，第二批训练集是挑选的少部分样本，输入为所有模态的影像数据，金标为对应的临床靶区或危及器官的二值图像；

利用第一批训练数据，训练一个多模态重构网络，将输入的多模态影像映射到第一模态M1，让多模态重构网络学习到各个模态独有的特征以及模态间共有的特征；

利用第二批训练数据，对训练好的多模态重构网络进行迁移学习，学习任务从模态重构迁移为自动分割，输入各模态影像数据，输出多通道的概率图，通道数为临床靶区的类别数加1或为要勾画的危及器官数目加1，每个通道表示各像素属于对应的临床靶区或危及器官的概率；

其中，利用第一批训练数据，训练一个多模态重构网络，将输入其他模态Mn映射到第一模态M1，让该网络学习各模态的影像特征，包括：

搭建一个多输入的深度卷积神经网络，网络结构在Unet模型的基础上，改进为多输入多分支的结构，N种模态的数据，对应N个输入分支，且每个分支由3个卷积下采样模块组成，卷积下采样模块为卷积模块与maxPooling串联而成，而卷积模块包含2个卷积层、1个ReLu激活层、1个batchNormalization层，所述的N个输入分支构成Unet的编码部分，解码部分由3个典型的卷积模块与上采样交替构成，网络将输入的各个模态数据进行编码重构为伪M1图像，进行模态重构任务的学习；

在该阶段，利用结构相性SSIMloss和L1 loss来训练多模态重构网络：

L＝-∑SSIM(x,y)-λL₁

其中，SSIM为结构相似性指数，用来衡量图像失真的程度，其计算方式如下：

其中，x和y分别表示2个单通道图像，μ_x和μ_y分别表示x和y的局部平均值，σ_x和σ_y分别对应x和y的局部标准差，σ_xy表示x和y的局部协方差，C₁和C₂为常数；这些局部统计量的计算方式为取一个N*N的方形窗、计算窗内的统计值，将该方形窗逐像素滑动遍历整个图像，然后取平均，得到了全局SSIM

L₁为图像一阶矩，计算方式为：L₁＝∑|x-y|；

在该阶段的训练中，网络将输入的各个模态数据进行编码重构为伪M1图像，进行模态重构的学习，训练过程中网络既能提取到各模态独特的影像特征，也能学习到各模态之间的共有特征。

2.如权利要求1所述的自动勾画模型的多模态迁移方法，其特征在于，所述临床靶区为GTV/CTV/PTV。

3.如权利要求2所述的自动勾画模型的多模态迁移方法，其特征在于，所述采集一批多模态数据，并挑选其中少部分样本在其中的一个模态M1上进行临床靶区或危及器官的勾画包括：

采集一批病人的所有临床影像数据，包括CT、CBCT、MRI、PET，并挑选其中20％的样本，在这些数据的其中一个模态影像M1上进行金标准的勾画，勾画的区域可以是GTV/CTV/PTV等临床靶区，也可以是脑干、颞叶、眼球、晶状体等危及器官。