[发明专利]一种用于显微图像实时拼接的方法、系统和计算机设备

权利要求书

1.一种用于显微图像实时拼接的方法，其特征在于，包括：

获取局部显微图像；

将局部显微图像中的相邻局部显微图像组成图像对，利用图像配准算法得到每组图像对对应的理想标签，所有的图像对和理想标签共同构成训练集；所述理想标签为利用图像配准模型配准、对齐后的对齐图像；

将所述训练集输入到预先构建的显微图像拼接模型中，所述显微图像拼接模型包括图像配准网络和图像融合网络；

利用图像配准网络对输入的图像对进行配准，并根据图像对对应的理想标签，获得映射表，根据所述映射表对图像对进行对齐，获得对齐图像；所述映射表包括水平方向上的映射表和垂直方向上的映射表；对于每个像素，映射表中的对应值表示在对齐视图下将该像素的原始位置变换到对齐位置的映射，即通过映射表可确定原始图像中各个像素在对齐图像中对应的位置；

提取所述对齐图像中相互重叠的部分，利用图像融合网络对对齐图像中相互重叠的部分进行融合，获得局部融合图像，将所述局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，并得到训练好的显微图像拼接模型；所述显微图像拼接模型的训练分两个阶段，第一阶段为利用训练集训练图像配准网络，获得图像配准网络的参数；第二阶段为根据第一阶段获得的参数固定图像配准网络，利用图像配准网络输出的对齐图像，采用无监督的方式训练图像融合网络，获得图像融合网络的参数；

利用训练好的显微图像拼接模型对待拼接局部显微图像进行拼接，获得拼接图像。

2.如权利要求1所述的用于显微图像实时拼接的方法，其特征在于，利用图像配准算法得到每组图像对对应的理想标签，包括：

利用图像配准算法提取每组图像对的SURF特征描述子，根据所述SURF特征描述子进行特征预匹配；

利用RANSAC算法剔除特征预匹配过程中的误匹配特征点，获得匹配结果，根据所述匹配结果计算单应矩阵；

利用所述单应矩阵对图像对中的一张图像进行变换，并将变换后的图像与图像对中的另一张图像进行对齐，获得对齐图像，所述对齐图像为图像对对应的理想标签。

3.如权利要求1所述的用于显微图像实时拼接的方法，其特征在于，所述图像配准网络为像素级网络，包括编码器模块、解码器模块和空间变换模块；

所述编码器模块用于从输入的图像对中提取高层特征，依次包括8个卷积层；

所述解码器模块用于对编码器模块提取的高层特征进行解码获得细映射表，依次包括7个反卷积层和1个卷积层，每个所述反卷积层对应一个所述编码器模块中的卷积层，每个所述反卷积层与对应的卷积层通过跳跃连接方式相连，每个所述反卷积层的特征图数量与对应的卷积层中的特征图数量相同；

所述空间变换模块用于将仿射变换和恒定矩阵进行乘法操作，获得粗映射表，将所述细映射表与所述粗映射表进行叠加获得映射表，利用所述映射表对图像对中的一张图像进行变换，并将变换后的图像与图像对中的另一张图像进行对齐，获得对齐图像。

4.如权利要求3所述的用于显微图像实时拼接的方法，其特征在于，所述仿射变换为将编码器模块中最后一个卷积层输出的特征图经过一个卷积层进行下采样后再经过一个1×1的卷积层而获得。

5.如权利要求1所述的用于显微图像实时拼接的方法，其特征在于，所述图像融合网络为多聚焦网络，包括两个并列的特征提取子网络，融合模块和特征重构模块，所述特征提取子网络包括2个卷积层和1个位于所述2个卷积层之间的特征提取模块；

所述特征提取模块用于对输入的图像进行特征提取，依次包括5个卷积层，每个所述卷积层后面连接一个ReLU非线性激活层；

所述融合模块用于将两个并列的特征提取子网络输出的特征图进行融合，包括1个融合层；

所述特征重构模块用于对融合模块输出的融合特征图进行重构，获得局部融合图像，将所述局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，依次包括7个卷积层，前6个卷积层后面均连接一个Leaky-ReLU非线性激活层，第7个卷积层后面连接1个Sigmoid层。