[发明专利]多模态图像的合成方法、装置、存储介质及处理器

说明书

本申请公开了一种多模态图像的合成方法、装置、存储介质及处理器。该方法包括：将第一模态图像通过生成器转换为第二模态图像；依据第二模态图像执行剂量计算以生成放疗计划。通过本申请，解决了相关技术中对MRI、CBCT等医学图像无法进行剂量计算，导致不能满足临床应用需要的技术问题。

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种多模态图像的合成方法、装置、存储介质及处理器。

背景技术

磁共振成像(MRI)和计算机断层扫描(CT)是放射治疗中常用的两种成像方式。这两种图像都可以描述患者的解剖结构，并在三维空间显示组织特性。此外，CT图像可以提供精确辐射剂量计算所需的电子密度(ED)信息。由于具有良好的软组织、功能成像能力和无需额外辐射照射的优点，MRI已被深入地整合到放射治疗计划工作流程中。然而，MRI图像不能直接提供ED信息，因此不能作为RT计划和剂量计算的单一图像集。现有技术中将患者CT图像配准到MRI，然后将ED信息映射到MRI上。这需要对CT和MRI都进行单独扫描，这会提供图像剂量，而且耗时且成本高昂，因此难以满足临床应用的需求。

针对相关技术中对MRI、CBCT等医学图像无法进行剂量计算，导致不能满足临床应用需要的技术问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种多模态图像的合成方法、装置、存储介质及处理器，以解决相关技术中对MRI、CBCT等医学图像无法进行剂量计算，导致不能满足临床应用需要的技术问题。

为了实现上述目的，根据本申请的一个方面，提供了一种多模态图像的合成方法。该方法包括：将第一模态图像通过生成器转换为第二模态图像；依据第二模态图像执行剂量计算以生成放疗计划。

进一步地，将第一模态图像通过生成器转换为第二模态图像包括：将第一模态图像的有序的图像序列输入共享的下采样模块和残差组模块，以获得残差特征；对残差特征执行复制和调整顺序的操作，得到已调整顺序的特征；将已调整顺序的特征输入Conv-LSTM网络模块，以使生成器充分学习不同顺序图像序列的不同空间信息；对Conv-LSTM输出的特征执行合并操作，得到合并的特征；将合并的特征输入共享的上采样模块，以得到第二模态图像。

进一步地，该方法还包括：对第二模态图像分别在冠状面、矢状面和横截面上进行投影，得到投影后的三个平面图；将投影后的三个平面图与第一模态图像分别进入对应的投影辨别器和3D辨别器进行辨别真伪，以与生成器形成对抗。

进一步地，生成器的损失函数包括以下至少之一：对抗性损失函数、投影损失函数、循环一致性损失。

进一步地，第一模态图像为磁共振成像图像，第二模态图像为计算机断层扫描图像。

为了实现上述目的，根据本申请的另一方面，提供了一种多模态图像的合成装置。该装置包括：第一转换单元，用于将第一模态图像通过生成器转换为第二模态图像；第一确定单元，用于依据第二模态图像执行剂量计算以生成放疗计划。

进一步地，第一转换单元包括：第一获取模块，用于将第一模态图像的有序的图像序列输入共享的下采样模块和残差组模块，以获得残差特征；第二获取模块，用于对残差特征执行复制和调整顺序的操作，得到已调整顺序的特征；第一输入模块，用于将已调整顺序的特征输入Conv-LSTM网络模块，以使生成器充分学习不同顺序图像序列的不同空间信息；第一合并模块，用于对Conv-LSTM输出的特征执行合并操作，得到合并的特征；第二输入模块，用于将合并的特征输入共享的上采样模块，以得到第二模态图像。

进一步地，该装置还包括：第一获取单元，用于对第二模态图像分别在冠状面、矢状面和横截面上进行投影，得到投影后的三个平面图；第一处理单元，用于将投影后的三个平面图与第一模态图像分别进入对应的投影辨别器和3D辨别器进行辨别真伪，以与生成器形成对抗。