[发明专利]多模态图像的合成方法、装置、存储介质及处理器

权利要求书

1.一种多模态图像的合成方法，其特征在于，包括：

将第一模态图像通过生成器转换为第二模态图像；

依据所述第二模态图像执行剂量计算以生成放疗计划。

2.根据权利要求1所述的方法，其特征在于，将第一模态图像通过生成器转换为第二模态图像包括：

将所述第一模态图像的有序的图像序列输入共享的下采样模块和残差组模块，以获得残差特征；

对所述残差特征执行复制和调整顺序的操作，得到已调整顺序的特征；

将已调整顺序的特征输入Conv-LSTM网络模块，以使所述生成器充分学习不同顺序图像序列的不同空间信息；

对所述Conv-LSTM输出的特征执行合并操作，得到合并的特征；

将合并的特征输入共享的上采样模块，以得到所述第二模态图像。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对第二模态图像分别在冠状面、矢状面和横截面上进行投影，得到投影后的三个平面图；

将投影后的三个平面图与所述第一模态图像分别进入对应的投影辨别器和3D辨别器进行辨别真伪，以与所述生成器形成对抗。

4.根据权利要求3所述的方法，其特征在于，所述生成器的损失函数包括以下至少之一：对抗性损失函数、投影损失函数、循环一致性损失。

5.根据权利要求1所述的方法，其特征在于，所述第一模态图像为磁共振成像图像，所述第二模态图像为计算机断层扫描图像。

6.一种多模态图像的合成装置，其特征在于，包括：

第一转换单元，用于将第一模态图像通过生成器转换为第二模态图像；

第一确定单元，用于依据所述第二模态图像执行剂量计算以生成放疗计划。

7.根据权利要求6所述的装置，其特征在于，所述第一转换单元包括：

第一获取模块，用于将所述第一模态图像的有序的图像序列输入共享的下采样模块和残差组模块，以获得残差特征；

第二获取模块，用于对所述残差特征执行复制和调整顺序的操作，得到已调整顺序的特征；

第一输入模块，用于将已调整顺序的特征输入Conv-LSTM网络模块，以使所述生成器充分学习不同顺序图像序列的不同空间信息；

第一合并模块，用于对所述Conv-LSTM输出的特征执行合并操作，得到合并的特征；

第二输入模块，用于将合并的特征输入共享的上采样模块，以得到所述第二模态图像。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第一获取单元，用于对第二模态图像分别在冠状面、矢状面和横截面上进行投影，得到投影后的三个平面图；

第一处理单元，用于将投影后的三个平面图与所述第一模态图像分别进入对应的投影辨别器和3D辨别器进行辨别真伪，以与所述生成器形成对抗。

9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至5中任意一项所述的方法。