[发明专利]基于注意力网络的电镜图像配准系统及方法

说明书

本发明公开一种基于注意力网络的电镜图像配准系统及方法，属图像配准领域。系统包括，仿射变换预测模块，以当前待配准第张图像与上一张配准好的第张图像为输入经拼接、线性预测和仿射变换后得出线性变换后待配准图像；待配准图像特征预测模块，以配准好的张图像和线性变换后待配准图像为输入，分别经特征提取、展平拼接、Transformer编码、解码后得出当前待配准图像的预测特征；变换场预测模块，连接待配准图像特征预测模块和仿射变换预测模块，以预测特征与特征为输入，将预测特征与特征经拼接、变换场预测得出稠密变换场，对线性变换后待配准图像稠密变换得出最终配准图像。其配准结果准确，鲁棒性好。

技术领域

本发明涉及图像配准领域，尤其涉及一种基于注意力网络的电镜图像配准系统及方法。

背景技术

图像配准是一项匹配和对齐多张图像的技术，在医疗图像处理、卫星图像分析、光流估计等领域有着广泛的应用。

现有的电镜图像配准方法可以分为传统方法和深度学习的方法。对于传统方法，需要针对每一对电镜图像进行复杂费时的调整配准参数，并且传统配准方法需要迭代进行，速度很慢且效果较差，这限制了此类方法的拓展性和实用性。而深度学习方法可以从大量数据中学习电镜图像的模式，在实际应用中只需要训练完成之后就可以使用，不需要后续参数调整，并且可以达到很好的性能和推理速度。

在当前基于深度学习的电镜图像配准方法中，大多数都使用单张之前的电镜图像作为参考，但由于并没有很好地利用多张参考电镜图像的信息，会导致配准结果不准确。并且之前的电镜图像与当前电镜图像存在很大的细节差异，直接利用之前的电镜图像作为参考很难完全恢复当前电镜图像的细节，使得目前采用深度学习方法进行电镜图像配准的鲁棒性差。

有鉴于此，特提出本发明。

发明内容

本发明的目的是提供了一种基于注意力网络的电镜图像配准系统及方法，根据多张之前配准好的电镜图像，依次配准后续的电镜图像，并得出准确的配准结果，进而解决现有技术中存在的上述技术问题。

本发明的目的是通过以下技术方案实现的：

一种基于注意力网络的电镜图像配准系统，包括：

仿射变换预测模块、待配准图像特征预测模块和变换场预测模块；其中，

所述仿射变换预测模块，分别设有当前待配准图像输入端、配准好图像输入端和线性变换后待配准图像输出端，能以当前待配准图像输入端接收的当前待配准的第张图像与配准好图像输入端接收的上一张配准好的第张图像作为输入，将输入的两张图像沿通道维度拼接后通过线性预测得出一个六自由度的仿射变换矩阵，用所述仿射变换矩阵变换待配准的第张图像，得出线性变换后待配准图像经所述线性变换后待配准图像输出端输出；

所述待配准图像特征预测模块，分别设有第一线性变换后待配准图像输入端、多个配准好图像输入端、线性配准后图像特征输出端和预测图像特征输出端，所述第一线性变换后待配准图像输入端与所述仿射变换预测模块的线性变换后待配准图像输出端通信连接，能以多个配准好图像输入端接收的配准好的张图像和所述第一线性变换后待配准图像输入端接收的所述仿射变换预测模块输出的线性变换后待配准图像为输入，分别通过相同卷积神经网络进行特征提取得出每张配准好图像的特征和线性变换后待配准图像的特征经所述线性配准后图像特征输出端输出，将得出的各配准好图像的特征分别展平并拼接后经Transformer编码与Transformer解码处理后得出当前待配准第张图像的预测特征经所述预测图像特征输出端输出；