[发明专利]图像配准网络模型及其建立方法、设备及介质

说明书

本申请涉及一种图像配准网络模型及其建立方法、设备及介质，其模型包括编码器和解码器，所述编码器包括参考图像编码器和移动图像编码器，所述参考图像编码器和所述移动图像编码器相互独立；解码器包括解码并行交叉注意力模块，所述解码并行交叉注意力模块以所述参考图像编码器、移动图像编码器不同尺度的编码获得的输出矢量序列作为输入。本申请参考图像编码器、移动图像编码器网络和解码器网络充分考虑了图像尺寸与分辨率的差异，基于并行交叉注意力模块进行网络设计，并融合不同尺度级别的并行交叉注意力模块获取的特征信息，使得不同尺寸、不同分辨率的多模态图像可直接进行配准，最终完成形变场估计。

技术领域

本申请涉及图像配准领域，尤其是涉及一种图像配准网络模型及其建立方法、设备及介质。

背景技术

医学图像配准是将不同时间、不同医学设备采集的图像转换到统一的空间坐标系下，使相同空间位置上的图像信息对应于相同的解剖结构，从而融合不同时间、设备采集的信息，完成融合多模态信息辅助诊断、监测病灶变化等，因此在医学图像处理中有广泛的应用。

与处理同一设备采集的多幅图像的单模态图像配准相比，不同模态图像配准面临更多的技术挑战。由于不同模态成像方式与原理的差异，相同解剖结构在不同模态图像中存在明显的差异。例如CT图像分辨率高，成像范围大，可提供明显的解剖结构信息，但是无法精细区分不同类型软组织；而MR图像序对软组织差异敏感，可以区分脑白质和脑灰质等不同的软组织列，而且序列变化多，但每次采集的图像范围相对较小。除了由于成像技术引起的图像像素值对比差异外，由于不同时间采集图像时病人的呼吸运动，体位变化，肠胃蠕动，膀胱充盈程度等原因，图像中脏器大小、形态也存在明显的差异。因此，探索适合描述不同尺寸、不同分辨率的多模态图像可直接配准的模型，是多模态医学图像配准技术亟待解决地难题。

发明内容

为了构建能够对不同尺寸、不同分辨率的多模态图像直接配准的多模态网络模型，本申请提供一种图像配准网络模型及其建立方法、设备及介质。

第一方面，本申请提供一种图像配准网络模型，采用如下的技术方案：

一种图像配准网络模型，包括编码器和解码器，所述编码器包括用于对参考图像进行处理的参考图像编码器和用于对移动图像进行处理的移动图像编码器，所述参考图像编码器和所述移动图像编码器相互独立；

所述参考图像编码器和移动图像编码器均包括编码并行交叉注意力模块，所述编码并行交叉注意力模块用于对不同尺寸、不同分辨率的原始图像输入的矢量序列进行计算，得到所述编码器的输出矢量序列；

所述解码器包括解码并行交叉注意力模块，所述解码并行交叉注意力模块以所述参考图像编码器、移动图像编码器不同尺度的编码获得的输出矢量序列作为输入，并输出不同模态图像配准过程中与原始的参考图像尺寸相同的形变场信息。

通过采用上述技术方案，参考图像编码器、移动图像编码器网络和解码器网络充分考虑了图像尺寸与分辨率的差异，基于并行交叉注意力模块进行网络设计，并融合不同尺度级别的并行交叉注意力模块获取的特征信息，使得不同尺寸、不同分辨率的多模态图像可直接进行配准，最终完成形变场估计。

第二方面，本申请提供一种图像配准网络模型建立方法，采用如下的技术方案：

一种图像配准网络模型建立方法，包括：

对不同模态图像的原始图像进行重采样，得到所述原始图像对应的各向同性3D图像，所述原始图像包括参考图像和移动图像；

分别对所述原始图像以及所述各向同性3D图像进行子块划分，并对划分后得到的子块进行位置编码；

基于所述位置编码计算所述原始图像对应的原始矢量序列以及所述各向同性3D图像对应的各向同性矢量序列；