[发明专利]基于深度学习特征光流的医学图像形变配准方法及系统

说明书

本发明属于图像处理技术领域，公开了一种基于深度学习特征光流的医学图像形变配准方法及系统，提取像素所在图像块，用训练好的Siamese网络提取像素所在图像块的深度学习特征，基于该特征求解光流场。本发明通过Siamese特征提取良好的特征描述符，提高像素点的匹配精度；通过对比损失函数学习到的映射关系，使得在高维空间中相同类别但距离较远的点在特征维空间中距离更近；而不同类别但距离较近的点在特征维空间中距离更远；基于对比损失函数训练的Siamese卷积神经网络提取的Siamese特征比SIFT特征以及一般的深度学习特征等区分度更高、更稳定，更适宜于差异计算和得到更加准确的计算结果。

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于深度学习特征光流的医学图像形变配准方法及系统。

背景技术

目前，最接近的现有技术：光流法(Optical Flow)通过计算参照图像和待配准图像间的光流场来进行配准，是一种有效的形变配准方法。现有光流法基于图像间像素的灰度值的Demons算法或SIFT特征差异的SIFT Flow光流法来求解光流场，不能处理大形变和真实地描述形变场，无法获得精确的配准结果。

现有技术中的Demons算法：该算法基于图像间像素灰度值差异来计算光流。仅靠灰度值这一特征不能准确地估算光流场，同时由于该算法中浮动图像的每一个像素点都可以自由移动，可能使浮动图像中具有某一特定灰度值的所有像素点映射到参考图像中的同一像素，导致图像配准错误。

SIFT Flow光流法采用了双层置信度传播(Dual-layer Belief Propagation)算法和从粗到精的特征匹配策略来求解光流场。在该算法中，由于SIFT特征是一种基于图像梯度信息的特征，在图像梯度变化不大的情况下，容易造成误匹配。而且，SIFT特征不能表征图像更高层次的抽象特征，无法进行更为精确的光流场估计。

综上所述，现有技术存在的问题是：(1)现有光流法基于图像间像素的灰度值或SIFT特征差异来求解光流场，不能处理大形变和真实地描述形变场，无法获得精确的配准结果。为了解决该问题，提出通过深度卷积神经网络提取更准确、区分度更大、更稳定的特征，从而达到更精确的配准结果。

(2)Demons算法仅靠灰度值这一特征不能准确地估算光流场，同时浮动图像和参考图像的像素之间容易出现一对多映射而导致错误的配准结果。为了解决该问题，使用通过对比损失函数学习映射关系，以此得到更加准确的配准结果。

(3)SIFT Flow采用了双层置信度传播(Dual-layer Belief Propagatio n)算法和从粗到精的特征匹配策略来求解光流场。在该算法中SIFT特征在图像梯度变化不大的情况下，容易造成误匹配。而且，SIFT特征不能表征图像更高层次的抽象特征，无法进行更为精确的光流场估计。为了解决该问题，提出在通过使用更稳定、区分度更高、易于差异计算的基于图像间像素的Siamese特征来求解光流场，实验结果表明，得到的光流场更加精确和鲁棒。

解决上述技术问题的难度：为了解决现有光流法基于图像间像素的灰度值或SIFT特征差异来求解光流场，不能处理大形变和真实地描述形变场，无法获得精确的配准结果的问题，设计了一种Siamese卷积神经网络来提取像素所在图像块的深度学习特征，该Siamese特征具有SIFT特征不具有区分度高，可以解决在变化不明显的医学图像中，容易造成的误匹配问题。难度为难。

为了解决Demons算法容易出现的一对多映射而导致错误的光流场问题，提出通过基于对比损失函数训练的Siamese卷积神经网络提取的更适应于差异计算的Siamese特征来计算更加准确的光流场。

解决上述技术问题的意义：本发明为了解决Demons算法仅靠灰度值这一特征不能准确地估算光流场，同时浮动图像和参考图像的像素之间容易出现一对多映射而导致难以取得精确的配准结果问题，本发明提出使用区分度高、稳定性强Siamese特征，基于该特征可以准确计算光流场。