[发明专利]多模态图像配准的方法、装置、电子设备及存储介质

权利要求书

1.一种多模态图像配准的方法，其特征在于，包括：

获取源模态的第一图像，和与所述第一图像配对的目标模态的第二图像；

对所述第一图像的强度进行修正得到第一修正图像，使所述第一修正图像的强度与所述第二图像的强度分布匹配，所述修正为经训练的神经网络模型进行的；

根据所述第一修正图像和所述第二图像获取所述第一修正图像配准到目标模态的形变场；

根据所述第一图像和所述形变场获取所述第一图像配准到目标模态的配准图像；

所述对所述第一图像的强度进行修正得到第一修正图像，包括：

采用经包括形变损失的第一损失函数训练的循环生成对抗网络，根据所述第一图像和所述第二图像对所述第一图像的强度进行修正得到第一修正图像，使所述第一修正图像的强度与所述第二图像的强度分布匹配；

所述包括形变损失的第一损失函数为：

其中，为生成器G损失，为生成器F损失，为循环损失，

所述和为根据所述循环生成对抗网络的生成器的输入图像与所述生成器的输出图像中各自对应的表征形状特征的参数的差值获得所述形变损失；X域对应为源模态，Y域对应为目标模态，X、Y为两种模态的数据集，G表示为从X域图像生成Y域图像的生成器，F为与G方向相反的从Y域图像生成X域图像的生成器，D_Y、D_X分别为两个生成器对应的鉴别器，其作用为促进生成器结果与目标域的分布近似，α是权重因子系数，确定了形变损失在整体损失中的占比，x为第一图像，y为第二图像。

2.如权利要求1所述的方法，其特征在于，采用经训练的循环生成对抗网络，根据所述第一图像和所述第二图像对所述第一图像的强度进行修正前，还包括：

采用配对的源模态图像和目标模态图像组成的训练样本集，训练待训练的循环生成对抗网络，得到经训练的循环生成对抗网络。

3.如权利要求1所述的方法，表征形状特征的参数包括以下参数至少之一：

表征形状特征的像素点的强度、前景图像的边界长度和前景图像的面积；

其中，所述表征形状的像素点包括以下像素点至少之一：表征背景的像素点、表征图像边缘的像素点和表征图像中感兴趣区域轮廓的像素点。

4.如权利要求1至3任一项所述的方法，其特征在于，所述根据所述第一修正图像和所述第二图像获取所述第一修正图像配准到目标模态的形变场，包括：

采用经训练的编解码网络根据所述第一修正图像和所述第二图像，获取所述第一修正图像到目标模态的形变场。

5.如权利要求4所述的方法，其特征在于，采用经训练的编解码网络根据所述第一修正图像和所述第二图像获取所述第一修正图像到目标模态的形变场前，还包括：

对配对的源模态图像和目标模态图像组成的训练样本集中的源模态图像的强度进行修正，获得源模态修正图像和目标模态图像样本集，所述样本集中所述源模态图像和与源模态图像配对的目标模态图像的强度分布匹配；

采用源模态修正图像和目标模态图像样本集训练待训练的编解码网络获得经过训练的编解码网络。

6.如权利要求5所述的方法，其特征在于，训练待训练的编码解码网络，包括：

采用第二损失函数训练所述待训练的编解码网络，所述第二损失函数包括待训练编解码网络输出图像与所述训练样本集中的目标模态图像的差值。