[发明专利]图像配准方法及其相关的模型训练方法、设备、装置

说明书

本申请公开了图像配准方法及其相关的模型训练方法、设备、装置。该方法包括：获取真实二维图像和参考二维图像，利用图像配准模型的虚拟图像特征提取网络对参考二维图像进行特征提取，得到第一虚拟特征图；其中，图像配准模型已利用虚拟图像进行预训练，且虚拟图像特征提取网络参与预训练，虚拟图像是基于虚拟目标生成的；利用图像配准模型的真实图像特征提取网络对真实二维图像进行特征提取，得到第一真实特征图；其中，真实图像特征提取网络未参与预训练；利用第一真实特征图和第一虚拟特征图之间的差异，调整真实图像特征提取网络的网络参数。通过该方法，提高了图像配准模型的训练效果且降低了训练成本。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像配准方法及其相关的模型训练方法、设备、装置。

背景技术

图像配准就是将不同时间、不同传感器(成像设备)或不同条件下(摄像位置和角度等)获取的两幅或多幅图像进行匹配过程。医学图像配准是指对于一幅医学图像寻求一种(或一系列)空间变换,使它与另一幅医学图像上的对应点达到空间上的一致。

利用神经网络来对图像进行配准展示出了巨大的潜力且应用前景广泛。目前，训练用于配准的神经网络模型样本都是经过手动配准的真实图像，但是因为手动配准真实图像需要较长的时间，且受限于真实环境下的成像条件，导致可以用于训练的样本图像较少，且价格高昂，导致利用真实图像来训练的神经网络模型应用受到一定的限制。

发明内容

本申请提供一种图像配准方法及其相关的模型训练方法、设备、装置。

本申请第一方面提供一种图像配准模型的训练方法。该方法包括：获取真实二维图像和参考二维图像，其中，真实二维图像为利用成像器件对真实目标进行成像得到的，参考二维图像中的真实目标所在位置与真实二维图像匹配；利用图像配准模型的虚拟图像特征提取网络对参考二维图像进行特征提取，得到第一虚拟特征图；其中，图像配准模型已利用虚拟图像进行预训练，且虚拟图像特征提取网络参与预训练，虚拟图像是基于虚拟目标生成的；利用图像配准模型的真实图像特征提取网络对真实二维图像进行特征提取，得到第一真实特征图；其中，真实图像特征提取网络未参与预训练；利用第一真实特征图和第一虚拟特征图之间的差异，调整真实图像特征提取网络的网络参数。

因此，先利用虚拟图像数据对前期的图像配准模型进行预训练，并将真实图像特征提取网络加入经预训练的图像配准模型中，利用真实图像数据以及经预训练的图像配准模型中的虚拟图像特征提取网络来调整真实图像特征提取网络的网络参数，以实现真实图像数据的训练迁移，以得到最终的图像配准模型，由于图像配准模型前期先利用虚拟图像数据进行预训练，可减少训练时所需的真实样本图像数据，即降低训练成本，而且，后期再利用真实图像数据以及经预训练的图像配准模型针对真实图像特征提取网络进行训练，即实现利用虚拟图像数据的结果来监督真实数据训练，进而提高图像配准模型的训练效果，使得真实图像特征提取网络能够用于后续的训练，使得图像配准模型能够更加容易应用于真实环境中。

其中，上述的获取参考二维图像，包括：利用真实二维图像与真实三维图像之间的实际配准结果，生成真实目标所在位置与真实二维图像一致的参考二维图像。

因此，通过生成真实目标所在位置与真实二维图像一致的参考二维图像，可以利用参考二维图像和真实二维图像在后续的训练中。