[发明专利]图像配准模型训练方法及装置、图像处理方法

说明书

本公开提供了一种图像配准模型训练方法，涉及图像处理技术领域，包括：利用形变学习子模型，对待配准眼底图像样本进行处理，获得形变图像样本；获得形变图像关键点信息和参考图像关键点信息；基于形变图像关键点信息和参考图像关键点信息，获得第一损失值；基于第一损失值，调整形变学习子模型的参数；利用第二损失值，调整逆形变学习子模型；循环迭代形变学习子模型，直到第一损失值满足第一收敛条件且第二损失值满足第二收敛条件，获得训练好的形变学习子模型；将训练好的形变学习子模型确定为图像配准模型。通过图像配准模型训练方法获得的图像配准模型可以针对不同模态图像进行配准，实现了提高多模态眼底图像配准结果的精度的目的。

技术领域

本公开属于图像处理技术领域，具体涉及一种图像配准模型训练方法及装置、图像处理方法。

背景技术

医学眼底图像已经广泛用于记录和检查多种疾病的临床表现，眼底图像配准是眼底图像处理与分析的基本的手段之一。眼底图像配准能够使得两幅或多幅眼底图像在空间上对齐，从而辅助医生进行眼科诊断和治疗，因此，眼底图像配准具有重要的临床应用价值。

由于单一模态眼底图像信息单一，临床应用上通常会对普通眼底相机图像、眼底荧光血管造影图像以及光学相干断层扫描血管成像(Optical Coherence TomographyAngiography，OCTA)图像等不同模态的眼底图像进行综合分析，然而，传统的图像配准方法无法适配多模态的眼底图像配准，导致多模态眼底图像的配准结果精度低，极大的限制了眼底图像在临床应用的发展。

发明内容

有鉴于此，本公开提供一种图像配准模型训练方法及装置、图像处理方法、计算机可读存储介质及电子设备，以解决传统眼底图配准方法无法适配多模态眼底图像配准，导致多模态眼底图像的配准结果精度低的问题。

第一方面，本公开一实施例提供了一种图像配准模型训练方法，包括：利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本，待配准眼底图像样本的模态和参考图像样本的模态不同；利用第一特征点提取子模型，提取形变图像样本的关键点，获得形变图像关键点信息；利用第一特征点提取子模型，提取参考图像样本的关键点，获得参考图像关键点信息；基于形变图像关键点信息和参考图像关键点信息，利用第一损失函数，进行损失计算，获得第一损失值；基于第一损失值，调整形变学习子模型的参数；利用逆形变学习子模型，基于待配准眼底图像样本和参考图像样本，对参考图像样本进行逆形变处理，获得逆形变参考图像样本；基于逆形变参考样本和待配准眼底样本，获得第二损失值；利用第二损失值，调整逆形变学习子模型的参数，并循环迭代逆形变学习子模型；循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，获得训练好的形变学习子模型，并将训练好的形变学习子模型确定为图像配准模型，图像配准模型用于基于待配准眼底图像和参考图像，对待配准眼底图像进行形变，得到形变图像，并将形变图像确定为待配准眼底图像对应的配准图像。

结合第一方面，在第一方面的某些实现方式中，形变学习子模型包括第一卷积神经网络层、第二卷积神经网络层、第三卷积神经网络层、第一transformer层和第二transformer层，形变处理包括第一形变处理和第二形变处理，利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本，包括：利用第一卷积神经网络层，基于待配准眼底图像样本和参考图像样本，确定第一形变场；利用第二卷积神经网络层，提取待配准眼底图像样本的局部特征；利用第三卷积神经网络层，基于第一形变场对待配准眼底图像样本的局部特征进行第一形变处理，确定待配准眼底图像样本的局部特征形变结果；利用第一transformer层，基于待配准眼底图像样本，提取待配准眼底图像样本的全局特征；利用第二transformer层，基于第一形变场、待配准眼底图像样本的局部特征形变结果和待配准眼底图像样本的全局特征，进行第二形变处理，获得形变图像样本。