[发明专利]多模态图像的配准方法、装置、存储介质及处理器

说明书

本申请公开了一种多模态图像的配准方法、装置、存储介质及处理器。该方法包括：将第一模态图像通过第一生成器转换为第二模态图像；将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场，其中，第二模态图像与目标模态图像的模态相同；基于形变场对第一模态图像进行配准。通过本申请，解决了相关技术中多模态图像的配准方法的准确度较低的问题。

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种多模态图像的配准方法、装置、存储介质及处理器。

背景技术

在放疗领域中，多模态柔性配准长久以来有着重要的应用。但也一直是一个极难的挑战，其中最主要的原因是，多模态配准相比较同模态配准所使用的MSE而言，不具备这种鲁棒性的度量指标来指导配准和对配准结果进行评估。在没有label的情况下，多模态配准绝大部分是使用互信息(MI)作为度量多模态配准的指标。然而，MI在以处理不能直接用于基于梯度的方法并且偏向于处理图像分布接近的内部模态，不能很好的适应与所有多模态配准问题。

针对相关技术中多模态图像的配准方法的准确度较低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种多模态图像的配准方法、装置、存储介质及处理器，以解决相关技术中多模态图像的配准方法的准确度较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种多模态图像的配准方法。该方法包括：将第一模态图像通过第一生成器转换为第二模态图像；将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场，其中，第二模态图像与目标模态图像的模态相同；基于形变场对第一模态图像进行配准。

进一步地，基于形变场对第一模态图像进行配准包括：将形变场通过空间变压网络作用在第二模态图像上，得到配准的结果；将配准的结果进行逆向循环变换，通过第二生成器转换为第三模态图像；采用第三模态图像对第一模态图像进行配准，其中，第一模态图像与第三模态图像的模态相同。

进一步地，在将第一模态图像通过第一生成器转换为第二模态图像之后，该方法还包括：将第二模态图像和目标模态图像通过编码器，得到编码后的结果；将编码后的结果输入辨别器进行分类，得到分类结果；基于分类结果，让辨别器与第一生成器形成对抗。

进一步地，编码后的结果中包括编码后的目标模态图像，在将编码后的结果输入辨别器进行分类，得到分类结果之后，该方法还包括：对第二模态图像和编码后的目标模态图像的通道数进行堆叠操作。

进一步地，将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场包括：在对第二模态图像和编码后的目标模态图像的通道数进行堆叠操作之后，将第二模态图像和编码后的目标模态图像输入配准网络进行配准，得到形变场。

进一步地，编码器更新的梯度来自于辨别器的损失函数。

进一步地，对第一生成器和第二生成器采用综合配准一致性损失函数。

进一步地，第一生成器和第二生成器、辨别器和配准网络复用相同的编码器，以实现多模态图像的配准。

为了实现上述目的，根据本申请的另一方面，提供了一种多模态图像的配准装置。该装置包括：第一转换单元，用于将第一模态图像通过第一生成器转换为第二模态图像；第一输入单元，用于将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场，其中，第二模态图像与目标模态图像的模态相同；第一配准单元，用于基于形变场对第一模态图像进行配准。

进一步地，第一配准单元包括：第一获取模块，用于将形变场通过空间变压网络作用在第二模态图像上，得到配准的结果；第一转换模块，用于将配准的结果进行逆向循环变换，通过第二生成器转换为第三模态图像；第一配准模块，用于采用第三模态图像对第一模态图像进行配准，其中，第一模态图像与第三模态图像的模态相同。