[发明专利]一种用于多模态图像的无监督配准方法

说明书

本发明属于图像处理领域，公开了一种用于多模态图像的无监督配准方法，用于解决现有的无监督图像配准由于多模态图像的外观差异很大，直接通过多模态图像之间的相似度损失去训练会导致误差大的难题，本发明的图像配准方法首先将浮动图像B放入一个将颜色、纹理等特征与固定图像A变得相似的卷积神经网络中，得到图像B转换后的图像C；其次将图像C和固定图像A放入无监督配准网络，输出变换参数，对图像C进行重采样后与图像A进行相似性度量，并将其作为损失函数对网络进行更新，迭代多次后得到最优的变换参数，利用变换参数对图像B进行重采样得到配准后的图像。本发明的方法可以实现对多模态图像进行无监督配准，大大提升无监督配准的精度。

技术领域

本发明涉及一种图像配准方法，具体涉及一种用于多模态图像的无监督配准方法。

背景技术

图像配准是图像处理的一个重要领域，图像配准指的是将两个或多个图像进行几何对齐，使浮动图像上的每一个点在固定图像上都有唯一的点与其对应，目的是寻找不同图像之间的空间变换关系，其目的是去除或者抑制待配准图像之间的几何不一致，图像配准是处理的重要组成部分，是图像融合、分析和目标识别的必要前提.

传统的配准方法是一个迭代优化的过程:首先提取图像中的特征信息，将图像间的特征进行匹配，然后选择空间变换方式，得到变换后的图像，计算变换后的图像和固定图像之间相似性，最后选择合适的优化方法不断迭代优化，使得配准后的图像相似性最高。近些年来，基于深度学习的图像配准方法逐渐出现在人们的视野当中，一定程度上克服了传统的配准方法上适用范围窄、计算速度不够快等瓶颈。基于深度学习的图像配准方法主要分为基于监督变换估计的配准和基于无监督学习的配准方法。监督方法首先将固定图像和移动图像输入网络中获得变换参数，根据标准标签数据与变换参数的差值获得损失值，然后将损失值反向传播至网络中迭代以获取更好的效果，最后得到效果良好的输出值。无监督方法配准对输入网络，获得变形场，对移动图像进行变形插值，即得配准图像，使用图像的相似性度量与常见的正则化策略来定义损失函数，使用损失函数梯度对网络做反向传播从而更新网络的参数，获得更好的变形场。

无监督学习的直接配准方法在单模图像中已经取得很大的成功，但是处理多模图像的配准却有很多困难。因为不同模态的外观差异很大，直接通过多模图像之间的相似度损失去训练网络效率低，配准精度差，导致在处理多模态配准问题上比处理单模态配准问题要难得多，所以目前无监督配准方法仍多用于处理单模配准问题，在处理多模态图像配准问题时趋于使用半监督的配准方法.。

发明内容

本发明的目的在于克服现有技术的不足，提供一种多模态图像的无监督配准方法，所述图像配准方法可以实现对多模态图像的实现无监督学习的图像配准，相比直接用无监督配准的方法，大大提升了配准精度。

本发明解决上述技术问题的技术方案是：

一种用于多模态图像的无监督配准方法，包括以下步骤：

(S1)、使用两种不同成像模式的相机对配准目标主体拍摄两张不同模态的图像。

(S2)、任意指定其中一张图像为固定图像，记为A图像,另一张图像为浮动图像，记为B图像。

(S3)、将A图像作为风格图像，将B图像作为内容图像输入至可以使图像间颜色、纹理等转移的卷积神经网络中，利用内容损失和风格损失共同作为损失函数，随后对损失函数的梯度值进行多次的反向传播，当迭代更新图片的次数达到预设值时，停止反向传播过程，获得B图像通过颜色、纹理变换后的C图像。

(S4)、将A图像作为固定图像和C图像作为浮动图像输入用于配准的卷积神经网络当中，神经网络的输出是一组变换参数，利用变换参数对浮动图像进行重采样，获得配准后的图像。