[发明专利]一种基于多光谱的眼底图像配准方法及系统

说明书

本公开提供了一种基于多光谱眼底图像的配准方法。基于多光谱眼底图像的配准方法，包括：利用RHA获取多光谱眼底图像，选取模板眼底图像和待配准眼底图像；构造回归网络用于获得模板眼底图像与待配准眼底图像之间的形变场,并在回归网络中加入特征平衡层和金字塔结构；构造损失函数，包括血管标签图的相似度损失和形变场的平化约束；采取弱监督的方式训练网络，用处理后的眼底图像的分割图作为训练网络的标签。本公开以分割图作为指导采用弱监督的方式训练配准模型，实践证明此方法能有效的解决多光谱眼底图像配准的问题，可以达到很好的效果，并且弱监督的分割导向的配准方法可以扩展到更多的多模态图像配准问题。

技术领域

本公开属于图像配准领域，尤其涉及一种基于多光谱的眼底图像配准方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

医学图像配准是医学图像处理中的一项基本的任务，是目前医学图像处理的一个热点，在临床诊断和疾病治疗方面有着非常重要的意义。医学图像配准就是在两幅图像之间寻找理想的空间变换，使得两幅图像的对应点在空间位置和解剖位置达到完全的匹配，或至少所有临床诊断的关注点到达匹配。

多光谱眼底图像是一种特殊的眼底成像，是利用不同的单色LED光源投射到眼底的不同组织中，根据眼底内不同组织吸收光谱的不同，每个单色光谱图像显示单层的结构和代谢信息，可获得眼底的视网膜和脉络膜结构，主要用于辅助诊断眼部的疾病和预测相关的全身性疾病，如白内障，青光眼，糖尿病等疾病。

多光谱眼底图像配准存在两个难点。首先，多光谱图像之间的强度存在差异。多光谱眼底分层成像系统RHA是使用不同波长的单色LED照明投射到眼底，获得多光谱图像，每一幅图像显示视网膜或脉络膜的一层，随着波长的增加，穿透率的增加，表现为神经纤维、神经节细胞层等，直至脉络膜。第二个难点是眼球的运动引起眼底的形变。这种眼球运动发生是因为两次拍摄之间的时间间隔大约是三秒，复杂的眼球运动在成像过程中给多光谱眼底图像的分析带来了巨大的挑战。

当前针对多光谱眼底图像配准的主要方法有两种，一是基于分割的配准方法,该方法需要精确的结构分割信息作为指导。但是，事实上获取精准的分割信息是非常昂贵的，需要相应的专家花费大量的精力进行标注。第二种是基于学习的配准方法，该方法需要预先对齐的图像对来训练多模态配准网络，但是很难得到精确的对齐图像对。

发明内容

针对上述挑战和现有技术中存在的不足，本公开提供一种基于多光谱的眼底图像配准方法，采取基于分割导向的弱监督的训练方法，其能利用卷积神经网络自动学习图像对特征，得到待配准眼底图像与模板眼底图像之间的空间变换矩阵，并且在训练后可以直接得到像素与像素之间的对应关系，而不需要标签图，能够有效的解决多光谱眼底图像的配准问题。

为了实现上述目的，本公开采用如下技术方案：

一种基于多光谱的眼底图像配准方法，包括：

(1)采集在不同光谱下的眼底图像，确定模板眼底图像和待配准眼底图像；

(2)基于特征平衡层和金字塔结构构建回归网络模型，获得模板眼底图像和待配准眼底图像之间的空间变换矩阵；

(3)采取弱监督的方法训练回归网络，以眼底图像的分割图作为标签，获得模板眼底图像和待配准眼底图像的血管标签图，使用高斯滤波器处理血管标签图，利用处理后的血管标签图纠正模板眼底图像和待配准眼底图像的空间变换，使回归网络模型输出近似平滑的结果；

(4)利用训练完成的回归网络模型，完成多光谱眼底图像配准。

进一步的，所述步骤(2)中，基于U-net网络构建回归网络模型，生成在不同尺度下的空间变换矩阵，调整U-net网络的结构，增加特征平衡层和金字塔结构；

进一步的，所述步骤(2)中还包括：